转网友kk:谷歌的一项有趣研究表明:神经网络不仅仅记忆事实,它们还会构建内部地图,展现这些事实之间的相互关系。Transformer 存储知识的方式是基于关联性的:同时出现的实体被存储在一个权重矩阵中,类似于查找表。嵌入本身是任意的。但这种观点无法解释这些研究人员的发现。这项新研究表明,即使在对抗性设计的任务中,联想记忆本应失效的情况下,Transformer 模型也能在将图边存储在权重中时学习隐式多跳推理。在具有 50,000 个节点和 10 跳路径的路径星型图中,模型对未见过的路径的准确率达到了 100%。这种几何记忆观挑战了知识获取、容量、编辑和遗忘等方面的基本假设。如果模型隐式地编码了全局关系,它既可以促进组合式创造力,也可能限制对知识的精确操控。论文: arxiv.org/abs/2510.26745
转网友kk:谷歌的一项有趣研究表明:神经网络不仅仅记忆事实,它们还会构建内部地图
但斌啊
2025-12-30 01:01:25
0
阅读:0