llama.cpp 发布 b12064,优化 Hexagon 张量转置性能
热点事件持续更新
llama.cpp 发布 b12064,优化 Hexagon 张量转置性能
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b12064 版本,为 Hexagon 新增 HVX 分块转置复制内核,提升 f32、f16 张量排列复制的性能。新路径采用分块 DMA、HVX vgather 转置、双缓冲和多线程处理,并针对小维度增加 packed mode,以改善原有逐元素 DMA 路径的吞吐表现。 新内核 HTP_COPY_KERNEL_TRANSPOSE 适用于源与目标形状、数据类型相同,且目标张量连续存储的 f32/f16 复制操作,没有最小尺寸限制。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 13:42
llama.cpp 为 Hexagon HVX 新增分块转置复制路径,优化张量排列性能报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp 为 Hexagon HVX 新增分块转置复制路径,优化张量排列性能
llama.cpp 为 Hexagon 新增 HTP_COPY_KERNEL_TRANSPOSE,优化 f32/f16 张量排列复制,避免原有逐元素 DMA 导致的低吞吐问题。新路径采用分块 DMA、HVX vgather 转置、双缓冲及多线程处理,并针对小维度增加 packed mode;测试覆盖多种排列、数据类型和尺寸。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。