跳到正文
GitHub · ggml-org/llama.cpp Releases·· 15 小时前AI 评分36

llama.cpp b12004 发布,调整提示词结束标记下的推理预算处理

b12004

AI 导读

llama.cpp 发布 b12004,common 调整了提示词结束标记触发推理预算强制结束的处理。发布包提供 macOS、iOS 和 Linux 构建;Linux 构建覆盖 x64、arm64、s390x 的 CPU 版本,以及 x64、arm64 的 Vulkan 版本和 CUDA 12、CUDA 13 版本。

来源:GitHub · ggml-org/llama.cpp Releases · github.com