NVIDIA Dynamo以Session ID实现会话感知的智能体推理

PyTorch Blog介绍NVIDIA Dynamo如何通过统一的Session ID，将推理服务从请求级管理扩展为会话级路由、调度和KV cache管理。Dynamo支持会话关联的请求追踪与回放、session-aware admission control、共享KV cache索引，以及面向vLLM和SGLang的实验性KvHint策略。