GitHub · ggml-org/llama.cpp Releases·· 11 小时前AI 评分35
llama.cpp b11963:优化短 TOP_K 行的 SYCL work-group argmax
b11963
AI 导读
llama.cpp b11963 调整了短 TOP_K 行的 SYCL work-group argmax。ncols 为 256、2、3、4 的 q2_0 行在补丁上曾出现一次失败,随后基础版本与补丁版本均通过 3/3 次重跑;其余补丁运行失败在基础版本上也会失败。
来源:GitHub · ggml-org/llama.cpp Releases · github.com