跳到正文
GitHub · ggml-org/llama.cpp Releases·· 10 小时前AI 评分36

llama.cpp b11713 优化低比特类型的 CUDA MMVQ

b11713

AI 导读

llama.cpp b11713 加快了低比特类型的 CUDA MMVQ,并修复 ggml-cuda HIP 后端在特定 ncols 配置下的小 nwarps 问题。发布页列出适用于多种平台的构建,包括 CPU、Vulkan、CUDA 12 和 CUDA 13 版本。

来源:GitHub · ggml-org/llama.cpp Releases · github.com