llama.cpp 为 SYCL 增加量化 KV 注意力内核
热点事件持续更新
llama.cpp 为 SYCL 增加量化 KV 注意力内核
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
llama.cpp b11980 为 SYCL 增加面向量化 KV cache 的 DPAS flash attention 内核，使解码和 1 至 31 个 query token 的小批量可直接处理 q4_0、q8_0 KV blocks；prompt 仍使用现有内核。支持的 head size 为 64 至 512，GQA 最多 32 组，并支持 attention sinks。发布说明称，在 B580、Llama 3.1 8B Q4_K_M、q4_0 KV、16K context 的测试中，tg128 从 31.3 提升至 54.2 t/s。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 15:10
llama.cpp b11980 发布：SYCL 新增量化 KV cache 的 DPAS flash attention 内核报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp b11980 发布：SYCL 新增量化 KV cache 的 DPAS flash attention 内核
llama.cpp b11980 为 SYCL 增加面向量化 KV cache 的 DPAS flash attention 内核，让解码和 1 至 31 个 query token 的小批量可直接处理 q4_0、q8_0 KV blocks。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月29日 18:00
- 近 24 小时变化
- –
02.557.510
18:0019:0020:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。