跳到正文
GitHub · ggml-org/llama.cpp Releases·· 15 小时前AI 评分44

llama.cpp Releases b11554 修复 Vulkan 重复 ID 处理并优化 mul_mat_id

b11554

AI 导读

llama.cpp b11554 调整 Vulkan 的 mul_mat_id 与 mul_mm_id:在预处理阶段处理重复 ID,并在 ID 重复时计算专家的每一行。该版本始终启用“hoist row ids”优化,生成需要执行的紧凑 tile 描述列表,并在需要时生成多个 tile,以便收紧 workgroup 数量上界并让尾部任务提前退出。

来源:GitHub · ggml-org/llama.cpp Releases · github.com