GitHub · ggml-org/llama.cpp Releases·· 12 小时前AI 评分30
llama.cpp b11962 发布:CUDA 在 MMQ 中融合 MoE 的 MUL_MAT_ID gate/up 与 GLU
b11962
AI 导读
llama.cpp b11962 在 CUDA 的 MMQ 中融合 MoE 的 MUL_MAT_ID gate/up 与 GLU,带来相关计算路径更新。发布内容列出 Ubuntu x64/arm64 的 CUDA 12、CUDA 13 构建,以及 macOS Apple Silicon、iOS XCFramework 和 Vulkan 等构建条目。
来源:GitHub · ggml-org/llama.cpp Releases · github.com