TRIAGE提出视觉-语言-动作推理加速方法

Sooyoung Kwon、Carlee Joe-Wong 和 Kyunghan Lee 提出 TRIAGE，通过判断视觉 token 的漂移程度和缓存时效性，选择重算、复用或剪枝；论文称，该方法在 LIBERO 和 SimplerEnv 上的平均成功率与完全重算相差不超过 3 个百分点，同时在 Jetson AGX Orin 上将 prefill latency 最多降低 48%。 论文称，在测试的两种骨干网络中，低于漂移阈值时复用 token 不逊于剪枝，超过阈值后复用的动作误差最高是剪枝的 4.4 倍；在 LIBERO-Object 上仅重算 7% 的视觉 token 时，TRIAGE 比最强基线高 24.4 个百分点。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。