跳到正文
GitHub · ggml-org/llama.cpp Releases·· 6 小时前AI 评分41

llama.cpp b11980 发布:SYCL 新增量化 KV cache 的 DPAS flash attention 内核

b11980

AI 导读

llama.cpp b11980 为 SYCL 增加面向量化 KV cache 的 DPAS flash attention 内核,让解码和 1 至 31 个 query token 的小批量可直接处理 q4_0、q8_0 KV blocks。

来源:GitHub · ggml-org/llama.cpp Releases · github.com