arXiv · Machine Learning· Yuqiao Wen, Lili Mou·· 1 天前AI 评分33
ICLHerd：以 In-Context Learning 为代理的基于 Herding 的 LLM 数据选择
ICLHerd: Herding-Based Data Selection for LLMs with In-Context Learning as a Proxy
AI 导读
ICLHerd 提出一种面向 LLM 训练的数据选择框架，以 von Mises-Fisher kernel 平衡 mode-seeking 与 mode-averaging。该方法将 In-Context Learning 引入为验证代理，用于高效搜索这一权衡的超参数。结果显示，ICLHerd 优于现有 LLM 数据选择算法。
来源：arXiv · Machine Learning · arxiv.org