GitHub · ggml-org/llama.cpp Releases·· 3 小时前AI 评分31
llama.cpp b11971:为 Adreno 添加分块 q4_k GEMM
b11971
AI 导读
llama.cpp b11971 为 Adreno 添加 OpenCL 分块 q4_k GEMM,并在 batch > 1 时让分块 q4_K lm_head 通过分块 GEMM 执行。更新还将分块 dp4a q4_k GEMM 拆分到独立文件,并加入 dp4a 测试。
来源:GitHub · ggml-org/llama.cpp Releases · github.com