跳到正文
arXiv · Machine Learning· Aakash Sarkar, Ananya Mukherjee, Motoshige Sato·· 10 小时前AI 评分48

《将关系组合视为平行传输:实体级坐标系对注意力机制的约束》

Relational Composition as Parallel Transport: What Per-Entity Frames Force in Attention

AI 导读

研究将每个实体独有的坐标系视为对称性,推导出它对注意力评分、消息形式及关系组合的约束,并分析正交传输下不同读出机制的表示维度门槛。最小宽度下,17/17 个拟合种子通过长度 1000 的测试;在 parsed CLUTRR 的 4-10 跳任务中,传输式组合比匹配的 Transformer 高 41 个百分点,但强制等距性会低 65 个百分点。12 个模型仅凭权重即可获得截至明确长度的正确性证书。

来源:arXiv · Machine Learning · arxiv.org