GitHub · ggml-org/llama.cpp Releases·· 4 小时前AI 评分26
llama.cpp b12081 预发布版本修复 CUDA Q8_1 量化校正和问题
b12081
AI 导读
llama.cpp 发布 b12081 预发布版本,针对 CUDA 中 Q8_1 量化的校正和问题提交潜在修复,并调整 quantize_mmq_q8_1 流程。该版本更新 ggml/src/ggml-cuda/quantize.cu,并提供覆盖 CPU、CUDA、ROCm、Vulkan、OpenVINO 和 SYCL 等后端的多平台构建版本。
来源:GitHub · ggml-org/llama.cpp Releases · github.com