跳到正文
GitHub · ggml-org/llama.cpp Releases·· 9 小时前AI 评分38

llama.cpp b12000 发布,推进 OCP FP8 E4M3 支持

b12000

AI 导读

llama.cpp b12000 持续推进 OCP FP8 E4M3 支持,并修复 FP8 权重转换中的多项问题。更新还加入 CPU 端 FP8 跨步复制支持和 F8_E4M3 快速内核,并补充转换及编解码测试。

来源:GitHub · ggml-org/llama.cpp Releases · github.com