GitHub · ggml-org/llama.cpp Releases·· 14 小时前AI 评分42
llama.cpp b11709 加入 Kolibri-1 模型支持
b11709
AI 导读
llama.cpp b11709 加入对 Kolibri-1 的支持,并更新模型转换器、张量映射、分词器注册和架构测试。Kolibri-1 是一个德英双语 MoE 推理模型,共 78B 参数,每个 token 激活 3.46B 参数;其 FP8 检查点可通过通用 weight_scale_inv 路径处理,无需特殊代码。
来源:GitHub · ggml-org/llama.cpp Releases · github.com