arXiv · Machine Learning· RuiLong Jiang, Dustin Rhodes, Danny McCormick, Yuta Labur, Reza Rokni·2026-11-02 13:00· 8 小时前AI 评分47

Google Cloud Dataflow 如何通过异构工作池与前缀感知批处理提升流式 LLM 推理效率

Accelerated Dataflow: scaling inference in streaming data analytics with efficiency

AI 导读

Google Cloud Dataflow 推出面向混合流式机器学习负载的系统，通过异构工作池协同自动扩缩容和前缀感知批处理，优化流式 LLM 推理。该方案使吞吐量提升 1.5–2 倍，同时保持相近延迟，峰值资源节省最高达 75%，峰值尾延迟降低 84%。