GitHub · ggml-org/llama.cpp Releases·· 6 小时前AI 评分41
llama.cpp b11980 发布:SYCL 新增量化 KV cache 的 DPAS flash attention 内核
b11980
AI 导读
llama.cpp b11980 为 SYCL 增加面向量化 KV cache 的 DPAS flash attention 内核,让解码和 1 至 31 个 query token 的小批量可直接处理 q4_0、q8_0 KV blocks。
来源:GitHub · ggml-org/llama.cpp Releases · github.com