修订研究:算术泛化延迟受进制影响
热点事件持续更新
修订研究:算术泛化延迟受进制影响
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Laura Gomezjurado Gonzalez提交了《The Long Delay to Arithmetic Generalization》修订版;补充实验后,论文更新了对算术泛化延迟的解释,指出这种延迟只在训练集包含的不同整数较少时出现,所需整数数量受数字进制影响。 研究以一步 Collatz 预测为例,并称进制难易的排序可推广到其他任务和三种模型规模。随机初始化的编码器也能通过线性探针准确恢复输入的低位余数,因此探针准确率不能可靠证明模型学会了计算。
AI 根据报道生成 · 43 分钟前更新
最新进展10月28日 12:00
算术泛化的漫长延迟报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv · Machine Learning算术泛化的漫长延迟
研究发现,Transformer在算术任务中的泛化延迟只会在训练集包含较少不同整数时出现,数字进制决定泛化所需的整数数量。以一步Collatz预测为例,进位只依赖当前位的进制所需训练整数少数倍,且进制难易排序可推广至其他任务和三种模型规模。随机初始化编码器的线性探针也能准确恢复输入低位余数,因此探针准确率不能可靠证明模型学会了计算。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。