跳到正文
GitHub · ggml-org/llama.cpp Releases·· 4 小时前AI 评分26

llama.cpp b12081 预发布版本修复 CUDA Q8_1 量化校正和问题

b12081

AI 导读

llama.cpp 发布 b12081 预发布版本,针对 CUDA 中 Q8_1 量化的校正和问题提交潜在修复,并调整 quantize_mmq_q8_1 流程。该版本更新 ggml/src/ggml-cuda/quantize.cu,并提供覆盖 CPU、CUDA、ROCm、Vulkan、OpenVINO 和 SYCL 等后端的多平台构建版本。

来源:GitHub · ggml-org/llama.cpp Releases · github.com