跳到正文
热点事件持续更新

llama.cpp 发布 b12064,优化 Hexagon 张量转置性能

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

llama.cpp 发布 b12064 版本,为 Hexagon 新增 HVX 分块转置复制内核,提升 f32、f16 张量排列复制的性能。新路径采用分块 DMA、HVX vgather 转置、双缓冲和多线程处理,并针对小维度增加 packed mode,以改善原有逐元素 DMA 路径的吞吐表现。 新内核 HTP_COPY_KERNEL_TRANSPOSE 适用于源与目标形状、数据类型相同,且目标张量连续存储的 f32/f16 复制操作,没有最小尺寸限制。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. GitHub · ggml-org/llama.cpp Releases
    llama.cpp 为 Hexagon HVX 新增分块转置复制路径,优化张量排列性能

    llama.cpp 为 Hexagon 新增 HTP_COPY_KERNEL_TRANSPOSE,优化 f32/f16 张量排列复制,避免原有逐元素 DMA 导致的低吞吐问题。新路径采用分块 DMA、HVX vgather 转置、双缓冲及多线程处理,并针对小维度增加 packed mode;测试覆盖多种排列、数据类型和尺寸。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。