跳到正文
GitHub · ggml-org/llama.cpp Releases·· 4 小时前AI 评分41

llama.cpp b12080 更新:CUDA 批量张量读取优化

b12080

AI 导读

llama.cpp b12080 优化了 CUDA 后端的批量张量读取,将小规模读取与大规模读取分别处理,并为大规模读取采用 pinned DMA。此次更新还简化了张量 gather 索引与流同步,使用 std::vector 管理主机端 gather 描述符,并将描述符缓冲区增至 128k。

来源:GitHub · ggml-org/llama.cpp Releases · github.com