arXiv · Machine Learning· Yilong Li, Chengpo Yan, Yijing Zeng, Hanlei Wu, Mingjun Song, Suman Banerjee·· 8 小时前AI 评分44
共享上下文、分离引擎：边缘 SoC 上的流式视觉-语言推理
Shared Context, Separate Engines: Streaming Vision--Language Inference on Edge SoCs
AI 导读
该方案协调边缘 SoC 异构加速器，使流式 VLM 跨引擎并发推理、共享版本化上下文。在 Apple M4 Max、Rockchip RK3588 和 Qualcomm QCS6490 上均胜过最强单引擎基线；两路 RK3588 视频流吞吐提升 19.6%。流式生成吞吐最高为串行执行的 2.48 倍，状态感知调度最多缩短查询完成时间 72.7%。
来源：arXiv · Machine Learning · arxiv.org