跳到正文
GitHub · ggml-org/llama.cpp Releases·· 15 小时前AI 评分41

llama.cpp b12069 增加 OpenCL 对 IQ4_XS 的初步支持并优化 Adreno 性能

b12069

AI 导读

llama.cpp b12069 为 OpenCL 增加 IQ4_XS 支持,涵盖 AOS、SOA、tiled matrix multiplication 及 Adreno 的 noshuffle GEMM/GEMV 和 dp4a 实现。更新还优化了 Adreno 上的 IQ4_XS 解码与窄批次处理。

来源:GitHub · ggml-org/llama.cpp Releases · github.com