跳到正文
GitHub · ggml-org/llama.cpp Releases·· 12 小时前AI 评分22

llama.cpp b11856 添加推测拒绝采样测试

b11856

AI 导读

llama.cpp b11856 增加了推测拒绝采样测试,用于验证 draft 模型发出的 token 是否符合 target 模型的概率分布。测试通过时,发生拒绝采样后仍应得到与直接从 target 模型采样相同的概率分布;运行测试会生成 target 和 draft 两个模型。

来源:GitHub · ggml-org/llama.cpp Releases · github.com