跳到正文
热点事件持续更新

llama.cpp b11888 改进语法采样

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

llama.cpp b11888 改用显式层级栈处理语法采样中的候选拒绝,移除了递归调用带来的栈风险,并修正长度限制导致长词元被一概拒绝的问题。此前,词元达到 256 个字符及以上就会在语法约束下被拒绝,例如 GLM-4.7-Flash 的 512 空格词元和 Laguna-S-2.1 的长空格词元。 项目测试显示,在 GLM-4.7、Laguna、Qwen3.6 和 gemma-4 上,使用 json、list、spaces 语法时,采样速度快于 master,且生成掩码一致。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. GitHub · ggml-org/llama.cpp Releases
    llama.cpp b11888 为语法采样添加递归深度限制并优化候选拒绝处理

    llama.cpp b11888 调整 grammar 候选拒绝处理,改用显式层级栈遍历词元码点,避免长词元因 256 字符深度限制被拒绝,并消除递归栈风险。候选项改为按输入索引追踪后,在 GLM-4.7、Laguna、Qwen3.6 和 gemma-4 的 json、list、spaces 语法测试中,语法采样速度快于 master,且掩码一致。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。