跳到正文
热点事件持续更新

llama.cpp 修复 Vulkan 矩阵乘法广播问题

1 篇报道1 个报道来源14 小时前更新

先了解这件事

AI 综述

llama.cpp 在 b11933 版本中修复了 Vulkan 后端 MUL_MAT 运算的第三维(dim 3)广播问题,使输入张量 src0 与 src1 的 ne3 维度不同时也能执行广播,同时保留 MUL_MAT_ID 对该维度的严格检查。 此次更新还调整了运算路径,避免广播情形进入要求两侧 ne3 相等的 mul_mat_vec_nc 路径,并新增第三维置换广播测试,覆盖单 token、多头以及每个 stream 包含多个 token 的情况。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. GitHub · ggml-org/llama.cpp Releases
    llama.cpp b11933 修复 Vulkan MUL_MAT 的 dim 3 广播问题

    llama.cpp b11933 调整 Vulkan 后端的 MUL_MAT 支持,使 src0 与 src1 的 ne3 不同时也能进行 dim 3 广播,并保留 MUL_MAT_ID 的严格检查。更新还让广播情形绕过要求 ne3 相等的 mul_mat_vec_nc 路径,并增加置换 dim 3 广播测试,覆盖单 token、多头及每个 stream 多 token 的情况。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。