跳到正文
GitHub · ggml-org/llama.cpp Releases·· 12 小时前AI 评分30

llama.cpp b11962 发布:CUDA 在 MMQ 中融合 MoE 的 MUL_MAT_ID gate/up 与 GLU

b11962

AI 导读

llama.cpp b11962 在 CUDA 的 MMQ 中融合 MoE 的 MUL_MAT_ID gate/up 与 GLU,带来相关计算路径更新。发布内容列出 Ubuntu x64/arm64 的 CUDA 12、CUDA 13 构建,以及 macOS Apple Silicon、iOS XCFramework 和 Vulkan 等构建条目。

来源:GitHub · ggml-org/llama.cpp Releases · github.com