能量与记忆：新型神经网络范式
联想记忆的神经机制
聆听一首经典老歌的前几个音符，你能说出歌名吗？如果能，恭喜你——这是联想记忆的胜利。在这种机制中，一条信息（前几个音符）会触发整个模式（整首歌曲）的记忆，而无需实际听到歌曲的其余部分。我们利用这种便捷的神经机制来学习、记忆、解决问题并导航现实世界。
“这是一种网络效应，”某机构机械工程教授解释道，“记忆存储和记忆检索是在整个神经元网络上发生的动态过程。”
Hopfield网络的贡献与局限
1982年，物理学家John Hopfield将这一理论神经科学概念转化为人工智能领域的Hopfield网络。他不仅为理解人脑记忆存储和检索提供了数学框架，还开发了最早的反向人工神经网络之一——以其从噪声或不完整输入中检索完整模式的能力而闻名。Hopfield因这项工作于2024年获得诺贝尔奖。
然而，根据某机构研究人员与某大学合作者的研究，传统Hopfield网络模型虽然强大，但未能完整解释新信息如何引导记忆检索。“值得注意的是，”他们在《科学进展》期刊发表的论文中指出，“外部输入的作用在很大程度上尚未被探索，从它们对神经动力学的影响到如何促进有效记忆检索。”研究人员提出了一种他们认为更符合人类记忆体验的记忆检索模型。
新模型：输入驱动可塑性
“现代版本的机器学习系统，这些大型语言模型——它们并不真正模拟记忆，”教授解释道，“你输入提示，然后得到输出。但这与我们在动物世界中理解和处理记忆的方式不同。”虽然大型语言模型可以返回听起来令人信服的智能响应，但它们仍然缺乏动物所具有的物理现实世界的底层推理和经验。
论文第一作者表示：“我们体验世界的方式更加连续，不那么起停分明。”他补充说，大多数关于Hopfield模型的研究倾向于将大脑视为计算机，采用非常机械化的视角。“相反，由于我们正在研究记忆模型，我们希望从人类视角出发。”
激发理论家的主要问题是：当我们体验周围世界时，接收到的信号如何使我们能够检索记忆？
动态能量景观
正如Hopfield所设想的那样，用能量景观来概念化记忆检索很有帮助，其中的谷值是代表记忆的能量最小值。记忆检索就像探索这片景观；当你落入某个谷值时就是识别。你在景观中的起始位置就是你的初始条件。
“想象你看到猫的尾巴，”教授说，“不是整只猫，只是尾巴。联想记忆系统应该能够恢复整只猫的记忆。”根据传统Hopfield模型，猫的尾巴（刺激）足以让你最接近标记为“猫”的谷值，将刺激视为初始条件。但你是如何首先到达那个位置的？
“经典Hopfield模型没有仔细解释看到猫尾巴如何将你置于正确位置，从而滑下山坡到达能量最小值，”教授说，“你如何在存储这些记忆的神经活动空间中移动？这有点不清楚。”
研究人员的输入驱动可塑性模型旨在通过逐步整合过去和新信息的机制来解决这种不明确性，引导记忆检索过程找到正确记忆。研究人员描述了一种动态的、输入驱动的机制，而不是在原始Hopfield网络模型相当静态的能量景观上应用两步算法记忆检索。
“我们主张这样的观点：当接收到来自外部世界的刺激（例如猫尾巴的图像）时，它会同时改变能量景观，”教授说，“刺激简化了能量景观，因此无论你的初始位置如何，你都会滚动到正确的猫记忆中。”此外，研究人员表示，IDP模型对噪声具有鲁棒性——输入模糊、歧义或部分被遮挡的情况——实际上使用噪声作为过滤掉不太稳定记忆（该能量景观中较浅谷值）而支持更稳定记忆的手段。
“我们从一个事实开始：当你凝视一个场景时，你的视线会在场景的不同组件之间移动，”第一作者说，“所以在每个瞬间，你选择想要关注的内容，但周围有很多噪声。”他解释说，一旦你锁定要关注的输入，网络就会自我调整以优先处理它。
与Transformer架构的关联
选择关注什么刺激，也就是注意力，是另一种神经网络架构Transformer背后的主要机制，它已成为ChatGPT等大型语言模型的核心。虽然研究人员提出的IDP模型“从一个非常不同的起点开始，目标也不同，”教授说，但该模型在设计未来机器学习系统方面有很大潜力。
“我们看到两者之间的联系，论文中描述了这一点，”教授说，“这不是论文的主要焦点，但有一个美好的希望，即这些联想记忆系统和大型语言模型可能会得到调和。”
