SACQ 提出 VLA 超低比特量化框架，显著压缩模型内存

Haesung Lee 和 Insu Han 提出 SACQ，一种面向视觉-语言-动作（VLA）模型的超低比特权重量化框架，通过结构感知码本拟合、动作感知混合比特分配和两阶段量化后优化，压缩模型内存，同时尽量保持任务执行性能。 在 GR00T N1.7 上，SACQ 将语言和动作权重压至 1.5 bit，四个 LIBERO 测试套件的平均成功率达到 93.85%，模型内存减少 4.83 倍。结合 INT8 激活量化和低精度注意力后，成功率为 93.55%，运行速度比 BF16 快 1.51 倍。在 SimplER 上，采用 2 bit 权重时，其 Visual Matching 成功率为 63.76%（BF16 为 58.90%），Variant Aggregation 成功率为 52.27%（BF16 为 53.45%），显示不同测试任务中的表现并不完全一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。