GitHub · ggml-org/llama.cpp Releases·· 14 小时前AI 评分34
llama.cpp b11888 为语法采样添加递归深度限制并优化候选拒绝处理
b11888
AI 导读
llama.cpp b11888 调整 grammar 候选拒绝处理,改用显式层级栈遍历词元码点,避免长词元因 256 字符深度限制被拒绝,并消除递归栈风险。候选项改为按输入索引追踪后,在 GLM-4.7、Laguna、Qwen3.6 和 gemma-4 的 json、list、spaces 语法测试中,语法采样速度快于 master,且掩码一致。
来源:GitHub · ggml-org/llama.cpp Releases · github.com