GitHub · ggml-org/llama.cpp Releases·· 6 小时前AI 评分35
llama.cpp 为 Hexagon HVX 新增分块转置复制路径,优化张量排列性能
b12064
AI 导读
llama.cpp 为 Hexagon 新增 HTP_COPY_KERNEL_TRANSPOSE,优化 f32/f16 张量排列复制,避免原有逐元素 DMA 导致的低吞吐问题。新路径采用分块 DMA、HVX vgather 转置、双缓冲及多线程处理,并针对小维度增加 packed mode;测试覆盖多种排列、数据类型和尺寸。
来源:GitHub · ggml-org/llama.cpp Releases · github.com