llama.cpp 优化注意力掩码处理，移除冗余转换
热点事件持续更新
llama.cpp 优化注意力掩码处理，移除冗余转换
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
llama.cpp 在 b12072 版本中移除了 llm_attn_mask 的冗余 cnv 转换，并将 dspark block mask 的生成移至输入填充阶段。llm_attn_mask::block_uniform 使用每条序列首个 token 的 mask 行填充整条序列，使 dflash 不再需要在计算图中执行 reshape 和 repeat 操作，cnv 则始终直接引用原始数据。 此次调整改变了注意力掩码的生成位置和数据处理方式。对应版本的发布构建中，Ubuntu x64 的 CUDA 12 和 CUDA 13 分别使用 CUDA 12.8、13.4 libraries；启用 KleidiAI 的 macOS Apple Silicon（arm64）及 openEuler 构建标记为 DISABLED。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 22:58
llama.cpp b12072：移除 llm_attn_mask 中冗余的 cnv 转换报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp b12072：移除 llm_attn_mask 中冗余的 cnv 转换
llama.cpp b12072 移除了 llm_attn_mask 中冗余的 cnv 转换，将 dspark block mask 的生成移至输入填充阶段。llm_attn_mask::block_uniform 使用序列首个 token 的 mask 行填充整个序列，使 dflash 不再需要图级 reshape/repeat 操作，cnv 始终直接别名原始数据。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。