llama.cpp 新增 NCCL 多节点张量并行支持
热点事件持续更新
llama.cpp 新增 NCCL 多节点张量并行支持
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
llama.cpp 在 b12079 版本中新增基于 NCCL 的多节点张量并行支持，使运行在不同进程中的计算节点能够通过集合通信协同执行张量并行。该功能由 ggml-org 实现，CUDA 后端通过 NCCL 提供跨进程 rank 的集合通信能力，RPC Server 在该接口可用时启用这项通信能力。 此次更新为 llama.cpp 在多个节点间分配张量并行计算提供了新的通信机制，支持范围涉及 NCCL 通信接口、CUDA 后端及 RPC Server。针对 DGX Spark，代码还将 NCCL 配置中的 maxCTAs 设置为 8。</escape>
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 05:58
llama.cpp b12079 增加基于 NCCL 的多节点 Tensor Parallelism 支持报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- GitHub · ggml-org/llama.cpp Releasesllama.cpp b12079 增加基于 NCCL 的多节点 Tensor Parallelism 支持
llama.cpp 发布 b12079，增加基于 NCCL 的多节点 Tensor Parallelism（张量并行）支持。该版本新增跨独立进程 rank 的集合通信后端接口，并在 CUDA 后端中使用 NCCL 实现；RPC server 在接口可用时使用该通信能力。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月4日 07:00
- 近 24 小时变化
- –
02.557.510
07:0008:0009:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。