llama.cpp 解耦稀疏选择与注意力掩码
热点事件持续更新
llama.cpp 解耦稀疏选择与注意力掩码
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11936，调整 K 池稀疏选择的构建方式，使其不再依赖 kq_mask 的形状，并移除 build_fused_top_k_mask 中未使用的参数。更新后，选择矩阵基于缓存单元构建为 [n_kv, n_tokens]，注意力计算前再拆分为 K view；稠密掩码可以调整布局而不必修改稀疏层。 该版本提供 macOS Apple Silicon、Ubuntu x64 CUDA 12（CUDA 12.8 libraries）和 Ubuntu x64 CUDA 13（CUDA 13.4 libraries）构建，openEuler 构建标为 DISABLED。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 04:11
llama.cpp b11936：调整 k-pool 稀疏选择逻辑，解除对 kq_mask 形状的依赖报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp b11936：调整 k-pool 稀疏选择逻辑，解除对 kq_mask 形状的依赖
llama.cpp 的 b11936 更新调整了 k-pool 稀疏选择逻辑，使其不再依赖 kq_mask 的形状，改为基于缓存单元构建 [n_kv, n_tokens] 选择矩阵，并在注意力计算前拆分为 K view 的数据流。此项改动允许稠密 mask 调整布局，而无需修改稀疏层；更新还移除了 build_fused_top_k_mask 中未使用的参数。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。