GitHub · ggml-org/llama.cpp Releases·· 6 小时前AI 评分44
llama.cpp b11986 发布,新增 OpenCL 对 IQ2 系列的支持
b11986
AI 导读
llama.cpp b11986 为 OpenCL 增加 iq2、iq2_s、iq2_xs 和 iq2_xxs 支持。更新还加入 Adreno 的 GEMM/GEMV 与 dp4a 实现,并优化解码和窄批次处理;发布构建包括 Windows arm64 OpenCL Adreno 版本。
来源:GitHub · ggml-org/llama.cpp Releases · github.com