跳到正文
GitHub · ggml-org/llama.cpp Releases·· 16 小时前AI 评分42

llama.cpp b11690 更新:common 按引用读取 ngram cache parts,避免复制

b11690

AI 导读

llama.cpp b11690 将 common 读取 ngram cache parts 的方式改为按引用读取,避免复制,对应 PR #30061。该版本提供 macOS Apple Silicon、macOS Intel、iOS XCFramework,以及 Ubuntu x64、arm64、s390x 的 CPU、Vulkan 和 CUDA 12/13 构建。

来源:GitHub · ggml-org/llama.cpp Releases · github.com