跳到正文
GitHub · ggml-org/llama.cpp Releases·· 10 小时前AI 评分37

llama.cpp b11558 发布,修复 OpenCL 内核的图像限制与广播问题

b11558

AI 导读

llama.cpp b11558 修复了 OpenCL 中 q4_k dense bin 内核、q4_0 广播和 rms_norm 的图像限制问题。更新还加入 Q4_K 权重图像超出设备限制时的回退,并调整 dense bin 内核条件、避免 rms_norm 出现不完整子组。

来源:GitHub · ggml-org/llama.cpp Releases · github.com