跳到正文
arXiv · Machine Learning· Sooyoung Kwon, Carlee Joe-Wong, Kyunghan Lee·· 10 小时前AI 评分47

TRIAGE:高效视觉-语言-动作推理需要兼顾复用与剪枝

TRIAGE: Efficient Vision-Language-Action Inference Needs Both Reuse and Pruning

AI 导读

TRIAGE 面向视觉-语言-动作(VLA)模型推理,依据缓存漂移和缓存有效性组合重算、复用与剪枝,并以固定重算预算控制 prefill latency。在 LIBERO 和 SimplerEnv 上,其平均成功率与完全重算相差不超过 3 个百分点;在 Jetson AGX Orin 上,prefill latency 最多降低 48%。

来源:arXiv · Machine Learning · arxiv.org