跳到正文
热点事件持续更新

ElTab:单模型适配不同计算预算

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

ElTab 提出一种弹性循环表格 Transformer,通过随机采样的早期退出监督,让单个模型根据不同计算预算调整推理深度。在30个 OpenML 分类数据集的实验中,单个 ElTab 模型达到与6种不同深度的循环模型相当的表现,同时将训练成本降低超过一半。与12层 TabPFN 风格基线相比,ElTab 的推理 FLOPs 减少25%。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · Machine Learning
    ElTab:弹性循环表格 Transformer 模型

    ElTab 提出一种弹性循环表格 Transformer,利用随机采样的早期退出监督,使单个模型能够适应不同计算预算。在30个 OpenML 分类数据集上,单个 ElTab 模型匹配6个不同深度的循环模型,训练成本降低超过一半;相比12层 TabPFN 风格基线,推理 FLOPs 减少25%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。