llama.cpp b11888 改进语法采样
热点事件持续更新
llama.cpp b11888 改进语法采样
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
llama.cpp b11888 改用显式层级栈处理语法采样中的候选拒绝,移除了递归调用带来的栈风险,并修正长度限制导致长词元被一概拒绝的问题。此前,词元达到 256 个字符及以上就会在语法约束下被拒绝,例如 GLM-4.7-Flash 的 512 空格词元和 Laguna-S-2.1 的长空格词元。 项目测试显示,在 GLM-4.7、Laguna、Qwen3.6 和 gemma-4 上,使用 json、list、spaces 语法时,采样速度快于 master,且生成掩码一致。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 07:28
llama.cpp b11888 为语法采样添加递归深度限制并优化候选拒绝处理报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp b11888 为语法采样添加递归深度限制并优化候选拒绝处理
llama.cpp b11888 调整 grammar 候选拒绝处理,改用显式层级栈遍历词元码点,避免长词元因 256 字符深度限制被拒绝,并消除递归栈风险。候选项改为按输入索引追踪后,在 GLM-4.7、Laguna、Qwen3.6 和 gemma-4 的 json、list、spaces 语法测试中,语法采样速度快于 master,且掩码一致。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。