arXiv · Machine Learning· Sanjukta Krishnagopal·· 9 小时前AI 评分49
表征形成的信息几何
The Information Geometry of Representation Formation
AI 导读
研究将神经网络表征形成视为几何轨迹,发现形成过程揭示了表征终点无法提供的信息。Bures 几何和量子 Fisher 信息分别衡量表征空间移动与输入因素的局部敏感性;计算需要的高阶交互越多,轨迹越不直接。路径曲折度还能预测表征在持续训练中的漂移及对参数扰动的敏感性,表征感知优化则可主动塑造轨迹。
来源:arXiv · Machine Learning · arxiv.org