跳到正文
GitHub · ggml-org/llama.cpp Releases·· 5 小时前AI 评分28

llama.cpp b11981 预发布,改进 Hexagon NPU 上转置 CONCAT 的 DDR 带宽利用率

b11981

AI 导读

llama.cpp 发布预发布版本 b11981,改进 Hexagon NPU 上转置 CONCAT 的 DDR 带宽利用率,并调整 hex-concat 与 hex-vgather。构建产物支持 CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 Adreno GPU 和 Hexagon NPU。

来源:GitHub · ggml-org/llama.cpp Releases · github.com