arXiv · Machine Learning· Mohammad Siavashi, Pascal Schwinte, Ali Banaei, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kosti\'c·· 13 小时前精选AI 评分81
GraphTok 将分词移出主机，用于智能体大模型服务
Taking Tokenization off the Host for Agentic LLM Serving
AI 导读
论文提出 GPU 分词器 GraphTok，将完整编码流程作为可重放的 CUDA graph 执行，并接入未修改的 vLLM 和 NVIDIA Dynamo。在 vLLM 的前缀缓存场景中，GraphTok 将平均 TTFT 降低 2.1–2.4 倍；在 121k-token 流量和 2 s P99 目标下，单个 Dynamo 前端可持续处理 518 requests/s。
推荐理由
论文把长上下文请求的分词开销与前缀缓存后的服务瓶颈联系起来，并比较了吞吐、TTFT和P99表现，可用于评估分词阶段对服务容量的影响。
来源：arXiv · Machine Learning · arxiv.org