跳到正文
GitHub · ggml-org/llama.cpp Releases·· 6 小时前AI 评分35

llama.cpp 为 Hexagon HVX 新增分块转置复制路径,优化张量排列性能

b12064

AI 导读

llama.cpp 为 Hexagon 新增 HTP_COPY_KERNEL_TRANSPOSE,优化 f32/f16 张量排列复制,避免原有逐元素 DMA 导致的低吞吐问题。新路径采用分块 DMA、HVX vgather 转置、双缓冲及多线程处理,并针对小维度增加 packed mode;测试覆盖多种排列、数据类型和尺寸。

来源:GitHub · ggml-org/llama.cpp Releases · github.com