arXiv · Machine Learning· Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting·· 8 小时前AI 评分42
ElTab:弹性循环表格 Transformer 模型
ElTab: Elastically Looped Tabular Transformers
AI 导读
ElTab 提出一种弹性循环表格 Transformer,利用随机采样的早期退出监督,使单个模型能够适应不同计算预算。在30个 OpenML 分类数据集上,单个 ElTab 模型匹配6个不同深度的循环模型,训练成本降低超过一半;相比12层 TabPFN 风格基线,推理 FLOPs 减少25%。
来源:arXiv · Machine Learning · arxiv.org