llama.cpp 新增 OpenCL IQ4_XS 支持并优化 Adreno 性能
热点事件持续更新
llama.cpp 新增 OpenCL IQ4_XS 支持并优化 Adreno 性能
1 篇报道1 个报道来源14 小时前更新
先了解这件事
AI 综述
ggml-org/llama.cpp 发布 b12069，为 OpenCL 后端增加 IQ4_XS 的初步支持，并优化 Adreno 平台的相关计算内核。新增支持涵盖 AOS、SOA、分块矩阵乘法，以及 Adreno 的 noshuffle GEMM/GEMV 和 dp4a 实现。 此次更新还改进了 Adreno 上的 IQ4_XS 解码和窄批次处理，进一步扩展了 OpenCL 对 IQ4_XS 的支持范围。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 19:19
llama.cpp b12069 增加 OpenCL 对 IQ4_XS 的初步支持并优化 Adreno 性能报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp b12069 增加 OpenCL 对 IQ4_XS 的初步支持并优化 Adreno 性能
llama.cpp b12069 为 OpenCL 增加 IQ4_XS 支持，涵盖 AOS、SOA、tiled matrix multiplication 及 Adreno 的 noshuffle GEMM/GEMV 和 dp4a 实现。更新还优化了 Adreno 上的 IQ4_XS 解码与窄批次处理。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。