跳到正文
GitHub · ggml-org/llama.cpp Releases·· 15 小时前AI 评分26

llama.cpp b11933 修复 Vulkan MUL_MAT 的 dim 3 广播问题

b11933

AI 导读

llama.cpp b11933 调整 Vulkan 后端的 MUL_MAT 支持,使 src0 与 src1 的 ne3 不同时也能进行 dim 3 广播,并保留 MUL_MAT_ID 的严格检查。更新还让广播情形绕过要求 ne3 相等的 mul_mat_vec_nc 路径,并增加置换 dim 3 广播测试,覆盖单 token、多头及每个 stream 多 token 的情况。

来源:GitHub · ggml-org/llama.cpp Releases · github.com