arXiv · Machine Learning· Ziyu Mu, Zehua Wang·· 8 小时前AI 评分39
Ouro 循环语言模型中的跨循环查询交接：后续循环如何重定向两跳检索
Cross-Loop Query Handoff: How Later Loops Redirect Two-Hop Retrieval in the Ouro Looped Language Models
AI 导读
研究者发现，Ouro-1.4B 和 Ouro-2.6B 的 loop-3 注意力查询可支持合成问题中的两跳检索。将这些查询注入 loop 1，可挽救两模型在 loop 1 答错、loop 3 答对的问题的 90% 和 97%，随机打乱供体时则为 24% 和 21%。交叉置换更偏向经供体桥接实体检索而非复制答案；自然问题上的挽救较弱，且仅在 Ouro-2.6B 复现。
来源：arXiv · Machine Learning · arxiv.org