“玛丽吃苹果”——一个如此简单的句子，人类孩童几乎不假思索就能理解其中含义。然而，当人工智能模型初次接触语言时，它解读世界的方式却与人类有着本质差异。近期发表在《统计力学杂志：理论与实验》上的一项研究，借助物理学视角，揭开了人工智能模型从“机械识位”到“语义理解”这一深刻转变的神秘面纱。
在人工智能语言学习的初始阶段，模型就像一个依赖固定公式的初学者，其理解完全基于位置导航。以英语为例，模型会机械地认定句子开头的词通常是主语，紧随其后的为动词，最后则是宾语——这正是“玛丽吃苹果”所遵循的模式。哈佛大学博士后研究员、该研究第一作者崔浩（Hugo Cui）指出：“这是神经网络训练时自发产生的第一个策略。”此时，模型对词语本身承载的意义几乎视而不见，句子理解如同依照坐标定位单词。
然而，随着模型“吞食”的数据量跨越某个神秘的关键阈值，一场静默的革命骤然发生。研究团队发现，模型策略突然发生根本性转变——它开始抛弃对位置的依赖，转而聚焦于词语本身的丰富语义。崔浩描述道：“低于某个阈值，该网络完全依赖于位置，而高于该阈值，则只依赖于意义。”这种转变并非渐进调整，而是如冰融为水、水沸为汽般清晰锐利。研究团队借助统计物理学的透镜，将其精准定义为一种“相变”。正如无数水分子在特定温度压力下集体改变状态，神经网络中数以亿计的“神经元”在数据洪流的持续冲击下，其集体行为模式也发生了质的跃迁。
这场革命的核心引擎，正是驱动ChatGPT、Claude等现代语言模型的Transformer架构及其自注意力机制。研究通过构建Transformer核心组件——自注意力机制的简化模型，清晰捕捉到这一策略跃迁。自注意力机制如同一个智慧开关，让模型动态评估序列中每个词相对于其他所有词的重要性。当训练数据不足时，这个开关主要被位置信息“卡住”；而一旦数据洪流冲开阈值的闸门，语义信息的力量便汹涌而至，成为主导开关的唯一力量。
理解人工智能模型学习语言的“相变”机制，其意义远不止于满足科学好奇心。崔浩强调：“从理论角度理解战略转变以这种方式发生是很重要的。这些理论知识有望在未来用于提高神经网络的使用效率和安全性。”它启示我们，模型的“能力涌现”并非完全不可预测的黑箱魔法，而是可能遵循着类似物理定律的普适性规律。这为设计更高效的学习路径、诊断模型潜在偏见、甚至在特定阶段进行干预以引导其策略选择提供了科学基础。
当人工智能模型跨越那个无形的数据门槛，从依赖词语坐标到拥抱词语灵魂，其内部经历了一场微观层面波澜壮阔的集体重构。这既是数据力量对智能形态的重塑，也是物理世界秩序在数字智能中的奇妙回响。理解这场“顿悟”背后的相变机制，正是人类驾驭AI巨浪、确保其航向安全与高效的关键罗盘。在通往真正语言智能的征途上，每一次认知边界的突破，都离不开对基础原理的深邃洞察。
地址：山东省烟台市开发区南昌大街48号
