跳到正文
GitHub · ggml-org/llama.cpp Releases·· 11 小时前AI 评分35

llama.cpp b11963:优化短 TOP_K 行的 SYCL work-group argmax

b11963

AI 导读

llama.cpp b11963 调整了短 TOP_K 行的 SYCL work-group argmax。ncols 为 256、2、3、4 的 q2_0 行在补丁上曾出现一次失败,随后基础版本与补丁版本均通过 3/3 次重跑;其余补丁运行失败在基础版本上也会失败。

来源:GitHub · ggml-org/llama.cpp Releases · github.com