GitHub · ggml-org/llama.cpp Releases·· 15 小时前AI 评分36
llama.cpp b12004 发布,调整提示词结束标记下的推理预算处理
b12004
AI 导读
llama.cpp 发布 b12004,common 调整了提示词结束标记触发推理预算强制结束的处理。发布包提供 macOS、iOS 和 Linux 构建;Linux 构建覆盖 x64、arm64、s390x 的 CPU 版本,以及 x64、arm64 的 Vulkan 版本和 CUDA 12、CUDA 13 版本。
来源:GitHub · ggml-org/llama.cpp Releases · github.com