GitHub · ggml-org/llama.cpp Releases·· 4 小时前AI 评分41
llama.cpp b12080 更新:CUDA 批量张量读取优化
b12080
AI 导读
llama.cpp b12080 优化了 CUDA 后端的批量张量读取,将小规模读取与大规模读取分别处理,并为大规模读取采用 pinned DMA。此次更新还简化了张量 gather 索引与流同步,使用 std::vector 管理主机端 gather 描述符,并将描述符缓冲区增至 128k。
来源:GitHub · ggml-org/llama.cpp Releases · github.com