arXiv · Machine Learning· Kyuyoung Kim, Peiyao Sheng, Ashwin Hebbar, Peiyang Xu, Yunfei Xie, Kevin Wang, Rui Xin, Chen Wei, Zhangyang Wang, Jinwoo Shin, Pramod Viswanath, Sewoong Oh·· 10 小时前AI 评分50
表示对齐的辅助监督用于语言模型适配
Representation-Aligned Auxiliary Supervision for Language Model Adaptation
AI 导读
研究团队提出“表示对齐的辅助监督”，用与模型兼容的环境衍生任务提升语言模型在结构化领域的适配。在国际象棋测试中，相同语义的 FEN 与 ASCII 表示会导致模型处理、学习和泛化表现显著不同；辅助监督在相同目标数据下持续提升最佳走法预测。暴露环境动态的任务收益更大且更稳定，ASCII 训练模型向 FEN 的迁移优于反向迁移，收益还扩展到事实性评论生成。
来源：arXiv · Machine Learning · arxiv.org