GitHub · ggml-org/llama.cpp Releases·· 10 小时前AI 评分32
llama.cpp b11936:调整 k-pool 稀疏选择逻辑,解除对 kq_mask 形状的依赖
b11936
AI 导读
llama.cpp 的 b11936 更新调整了 k-pool 稀疏选择逻辑,使其不再依赖 kq_mask 的形状,改为基于缓存单元构建 [n_kv, n_tokens] 选择矩阵,并在注意力计算前拆分为 K view 的数据流。此项改动允许稠密 mask 调整布局,而无需修改稀疏层;更新还移除了 build_fused_top_k_mask 中未使用的参数。
来源:GitHub · ggml-org/llama.cpp Releases · github.com