跳到正文
GitHub · ggml-org/llama.cpp Releases·· 7 小时前AI 评分20

llama.cpp b11866 发布

b11866

AI 导读

llama.cpp b11866 移除 Metal 后端 `mul_mm_id` 的 amax 重缩放逻辑,改由计算图执行逐 expert-token 的 amax scaling,以在算子运行前将 MoE 下投影激活值保持在 f16 范围内。该版本同时删除两阶段归约内核、临时缓冲区、`GGML_PREC_F32` dispatch 及相关测试用例。

来源:GitHub · ggml-org/llama.cpp Releases · github.com