跳到正文
GitHub · ggml-org/llama.cpp Releases·· 5 小时前AI 评分27

llama.cpp b12034 修复 WebGPU scratch 内存分配大小非单调问题

b12034

AI 导读

llama.cpp b12034 修复 WebGPU Flash Attention 向量路径和 MMVQ 路径的 scratch 内存分配问题,使分配大小随 batch 长度保持单调。此前,2 至 19 个 query rows 可能触发意外内存重新分配,导致启用 GGML_SCHED_NO_REALLOC 的构建中止;此次通过传递行数并调整 scratch 分配计算解决该问题。

来源:GitHub · ggml-org/llama.cpp Releases · github.com