GitHub · ggml-org/llama.cpp Releases·· 4 小时前AI 评分54
llama.cpp b12079 增加基于 NCCL 的多节点 Tensor Parallelism 支持
b12079
AI 导读
llama.cpp 发布 b12079,增加基于 NCCL 的多节点 Tensor Parallelism(张量并行)支持。该版本新增跨独立进程 rank 的集合通信后端接口,并在 CUDA 后端中使用 NCCL 实现;RPC server 在接口可用时使用该通信能力。
来源:GitHub · ggml-org/llama.cpp Releases · github.com