NVIDIA TensorRT-LLM v1.3.0rc18 发布
NVIDIA TensorRT-LLM 发布 v1.3.0rc18，新增 Nemotron-H、Qwen image、Step-3.7-Flash、Cosmos3 和 AFMoE Trinity 等模型支持。
推荐理由：版本变更覆盖模型支持、KV cache、CUDA 图和 Triton 内核等推理链路，便于评估升级对部署与性能工程的影响。
技术方向
运行时与推理服务 最新动态
推理运行时、调度、服务化、编排、内存管理和生产部署的技术变化。
21 条精选近 30 天 20 条共收录 122 条
更新
精选归档 · 第 2 页
GitHub · NVIDIA/TensorRT-LLM Releases精选AI 评分7878