GraphTok 将大模型分词移至 GPU
热点事件持续更新
GraphTok 将大模型分词移至 GPU
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Mohammad Siavashi 等作者提出 GraphTok，将从预分词、BPE 合并到 token-ID 组装的完整编码流程作为可重放的 CUDA graph 在 GPU 上执行；论文称其可接入未修改的 vLLM 和 NVIDIA Dynamo。在 vLLM 前缀缓存场景中，GraphTok 将平均首 token 延迟（TTFT）降低 2.1–2.4 倍；在 121k-token 流量、P99 延迟目标为 2 秒时，单个 Dynamo 前端可持续处理 518 个请求/秒。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
GraphTok 将分词移出主机，用于智能体大模型服务报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · Machine Learning精选GraphTok 将分词移出主机，用于智能体大模型服务
论文提出 GPU 分词器 GraphTok，将完整编码流程作为可重放的 CUDA graph 执行，并接入未修改的 vLLM 和 NVIDIA Dynamo。在 vLLM 的前缀缓存场景中，GraphTok 将平均 TTFT 降低 2.1–2.4 倍；在 121k-token 流量和 2 s P99 目标下，单个 Dynamo 前端可持续处理 518 requests/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。