跳到正文
GitHub · ggml-org/llama.cpp Releases·· 13 小时前AI 评分35

llama.cpp b12005 预发布版本发布,新增 OpenCL q2_0 支持

b12005

AI 导读

llama.cpp 发布 b12005 预发布版本,新增 OpenCL 对 q2_0 的初步支持,并加入面向 Adreno 的计算路径优化。更新涵盖 AOS、SOA、tiled mm、noshuffle GEMM/GEMV、dp4a,以及 Adreno 解码和窄批次处理优化。

来源:GitHub · ggml-org/llama.cpp Releases · github.com