arXiv · Machine Learning· Leo Fan, Hongyang Wang, Wenbo Chen, Jingguo Liu, Xian Li, Xuan Wang, Ruochen Wen, Yiming Yan, Hao Wu, Yichuan Li, Qian Qu, Zheshen Wang, Benoit Dumoulin·· 16 小时前精选AI 评分76
ATTUNE:面向大模型训练的智能体吞吐调优方法
ATTUNE: Agentic Throughput Tuning for LLM Training
AI 导读
ATTUNE 是一种用于大模型训练吞吐调优的 coding agent,可在 GPU-hour 预算内自动修改训练配方,并由外部正确性门禁拦截已知会改变训练目标的参数。
推荐理由
论文把训练配方搜索与训练目标正确性检查结合起来,并用跨硬件和模型的结果展示智能体调优相对固定搜索空间的收益。
来源:arXiv · Machine Learning · arxiv.org