arXiv · Machine Learning· Ishita Darade, Sushrut Thorat·· 9 小时前AI 评分47
Transformer 中“被表征不等于被计算”：对候选算法中间量的因果检验
Represented Is Not Computed: A Causal Test of Candidate Algorithmic Intermediates in a Transformer
AI 导读
研究者对执行进制位提取任务的 Transformer 进行因果检验，发现线性探针虽能解码候选算法中间量，但已定位的因果路径并未将其传至输出流。模型在三个随机种子下，对留出的数值与进制组合达到 99.83% 精确答案准确率；因果行为依赖早期选择 D 的信息传递，N、B、D 路径则主要分开并在后期结合。
来源：arXiv · Machine Learning · arxiv.org