跳到正文
GitHub · ggml-org/llama.cpp Releases·· 11 小时前AI 评分30

llama.cpp b11879 发布

b11879

AI 导读

llama.cpp b11879 将 CUDA 中 dense FFN 的 gate/up 矩阵乘法与 GLU 融合到 MMQ,用一次 `mul_mat_q` launch 完成 prompt processing,并在 write-back 阶段计算 GLU。该路径支持 Q4_K、Q5_K、Q6_K、Q8_0 和 IQ4_XS,仅启用于 NVIDIA Turing 及更新架构。

来源:GitHub · ggml-org/llama.cpp Releases · github.com