GitHub · ggml-org/llama.cpp Releases·· 3 小时前AI 评分40
llama.cpp b12059 优化多序列统一 KV Cache 的 Attention 计算
b12059
AI 导读
llama.cpp b12059 优化了统一 KV Cache 的多序列 Attention 计算,引入 kv_rows 列表构建与统一 Attention 机制,减少对稠密 KQ mask 的回退。新实现通过每个序列的 cell bitmap 构建有序列表,并支持共享 cell、SWA 隐藏 cell 过滤及不同 ubatch 结构的分片处理。
来源:GitHub · ggml-org/llama.cpp Releases · github.com