GitHub · ggml-org/llama.cpp Releases·· 10 小时前AI 评分36
llama.cpp b11713 优化低比特类型的 CUDA MMVQ
b11713
AI 导读
llama.cpp b11713 加快了低比特类型的 CUDA MMVQ,并修复 ggml-cuda HIP 后端在特定 ncols 配置下的小 nwarps 问题。发布页列出适用于多种平台的构建,包括 CPU、Vulkan、CUDA 12 和 CUDA 13 版本。
来源:GitHub · ggml-org/llama.cpp Releases · github.com