GitHub · ggml-org/llama.cpp Releases·· 4 小时前AI 评分36
llama.cpp b12065 修复无 KV cache 单元序列的 KV 行数返回问题
b12065
AI 导读
llama.cpp b12065 修复共享 KV cache 的序列尚无单元时 get_n_kv_rows() 返回 0 的问题,避免计算图退回 dense KQ mask 并触发调度器重新规划。该版本提供适用于 macOS、Linux、Android、Windows 和 openEuler 的多种 CPU、GPU 及 NPU 构建版本。
来源:GitHub · ggml-org/llama.cpp Releases · github.com