arXiv · Machine Learning· Po-Wei Chen, Shan Yu, Chunlin Li·· 10 小时前AI 评分42
HIFI：面向基础模型统计推断的高效框架
HIFI: A Highly Efficient Framework for Statistical Inference with Foundation Models
AI 导读
HIFI提出用于基础模型统计推断的两阶段微调框架，先用较大样本拟合一次，再以较小独立样本并行拟合轻量级PEFT估计器，量化估计变异性。在视觉和文本实验中，该框架适用于参数规模从数千万到超过100亿的预训练模型，较直接重采样最多减少91.9%的训练计算量。
来源：arXiv · Machine Learning · arxiv.org