GitHub · ggml-org/llama.cpp Releases·· 12 小时前AI 评分22
llama.cpp b11856 添加推测拒绝采样测试
b11856
AI 导读
llama.cpp b11856 增加了推测拒绝采样测试,用于验证 draft 模型发出的 token 是否符合 target 模型的概率分布。测试通过时,发生拒绝采样后仍应得到与直接从 target 模型采样相同的概率分布;运行测试会生成 target 和 draft 两个模型。
来源:GitHub · ggml-org/llama.cpp Releases · github.com