GitHub · ggml-org/llama.cpp Releases·· 5 小时前AI 评分41
llama.cpp b11716 增加 Hexagon 对 Q1_0 和 Q2_0 量化格式的支持
b11716
AI 导读
llama.cpp b11716 为 Hexagon 增加 Q1_0 和 Q2_0 支持,并启用 Q1_0 权重在 2D HMX MUL_MAT 路径中的处理。更新还包括分块布局、非方形 tile 处理及 vec_dots 等优化;发布构建覆盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端和多种平台。
来源:GitHub · ggml-org/llama.cpp Releases · github.com