速速分享下普林斯顿大学人工智能中心主任王梦迪教授刚刚在外滩大会的观点,对我而言是全新的视角:
注:我删减整理了下,因我自身认知局限可能存在部分转写、翻译错误,期待指正。
大模型在预训练阶段固然吸收了海量关于人类社会的信息,但在模拟社会规律或理解人类行为时,它本质上是“众数寻优”(Mode-Seeking)的。
何谓 Mode?在概率论中,对于一个给定的随机概率分布,Mode 指的是概率密度最高的那一个极值点,也就是极大似然点。
这意味着,大模型学到的是分布中最主流、最集中的那部分知识;而对于处于分布长尾的边缘知识,它往往会低估甚至彻底忽略。
即便大模型经过了大规模预训练、二次中训以及后训练阶段的强化学习,无论是在模拟社会互动、模拟人生轨迹,还是在推导数学等严谨命题时,模型的注意力往往依然收敛在概率分布的中心区域,严重低估了长尾效应的存在。
我们不妨共同思考一个问题:自 ChatGPT 问世这一里程碑时刻以来,大模型到底有没有真正帮助人类发现新的科学规律?
如果我们抛开宣发话术,严肃审视生物、化学、物理等基础自然科学 —— 尤其是高度依赖实体实验的前沿学科,大模型迄今为止尚未在真正意义上独立做出过突破性的科学新发现。
个中原因何在?
当我们在基础科学的最前沿探索未知时,本质上是在浩瀚的宇宙中寻觅一颗从未被人类观测过的“新星”。这颗新星不仅没有任何历史先验观测记录,更不可能存在于既有的模型训练集之中。
如果从表征学习与数据拟合的视角来剖析,大模型所掌握的不过是已知数据分布的众数(Mode),它天然会筛选并忽略长尾。
然而,人类科学史上的真正质变与颠覆性创新,无一例外都孕育在极端稀疏的长尾之上。
此时的大模型不仅无法真正挺进科研最前沿,更无法逾越认知边界去实现分布外探索(Out-of-Distribution, OOD),自然也就无法捕捉到那个概率分布之外的新星。
我的一位学术同行去年撰写过一篇文章,提出了一个极具穿透力的论点:AI 不仅没有加速科学发现,反而可能拖慢了科学进步的节奏。
他的核心论据在于,以物理学为代表的自然科学,必须依托真实、严苛的观测数据来验证假说,这对有效信息和数据质量提出了极高的信噪比要求。
然而自从大模型普及后,学术界每年催生的论文呈指数级爆炸式增长,但人类对客观物理世界的真实观测能力与有效数据积累并未同步倍增。
换言之,文献体量剧增,增量信息却近乎停滞。在信息论语境下,这意味着整个科研生态的“信噪比”被严重稀释。
当信噪比降至极低水平时,无论是前沿科学家、工程专家,还是真正致力于科学突破的研究机构,要在如此浩瀚的信息泥沙中打捞出微弱而宝贵的真理信号,难度反而成倍增加。
反观数学与编程领域,大模型的进化速度之所以如此令人惊叹,根本原因在于这两个领域拥有极为严密的确定性闭环 —— 即存在高可靠的验证器(Verifier)。
在编程领域,编译器本身就是最天然、最不容妥协的验证器,同时配合覆盖各种边界条件的单元测试(Unit Test),系统能够毫厘不差地即时判定模型生成的代码是否真正完成了既定任务。
在数学领域,同样存在着基于“形式化证明”(Formal Proof)的验证机制,它能够将深奥的数学命题转化为机器可读的形式化编程语言。
借助 Lean 这类交互式定理证明系统,原本只有两三句话的自然语言数学定理,可以被编译并扩展为长达数千行的形式化证明脚本。虽然文本篇幅大幅膨胀,但其证明逻辑却变得完全可验证、可编译、可定错。
一旦拥有了明确的验证器,大模型便能在闭环系统中通过强化学习进行自我博弈,从而不断迭代并指数级推高其数学推理与代码生成的上限。
然而,这种高度依赖形式化验证器的训练范式,目前我们完全无法直接平移到物理世界,也无法套用到对客观宇宙未知规律的探索之中。
为何在现实物理世界的科学求索中,大模型始终未能展现出同样的威力?一个深层原因在于,科学探索的真正瓶颈从来不在于缺乏假说或构想。
Ideas are cheap,正如计算机领域的名言所强调的,我们更需要看到的是可运行的代码与可重复的实验验证。而在真实的实验科学领域,海量的实验数据本身就是不可重复、不可验证且难以全流程追溯的。
《自然》正刊曾发表过一项著名的调研,结果显示受访科学家中有超过 70% 无法成功复现同行的实验结果,甚至有超过 50% 的研究者连自己此前完成的实验都无法稳定重现。
究其根源,探索全新的未知物质与前沿反应过程,交织着高度复杂的科研人员主观操作判定、实验器材的微小公差扰动,乃至涉及大型跨机构实验组在不同空间环境下的协作。
当这每一道环节中的微小不确定性逐层叠加放大,整个科学发现的历程在很大程度上便沦为一场高风险的“掷骰子”。
在代码与纯数学的世界里,每一步计算、每一个推理环节都具备高度的可复现性,拥有清晰的检查点和回溯机制,对错边界黑白分明。
然而在面向物理世界的探索最前沿,这种确定性的验证机制是彻底缺位的。正是由于物理世界缺乏完备的验证器,大模型只能在有限的既有数据内部反复过拟合,却始终无法突破边界迈向长尾,更无从促成颠覆性的新发现。
因此从本质上讲,我们当下最核心的使命是重构验证体系,致力于让科研领域的验证与确认变得更高效、更轻量、更敏捷。
我们需要构建的是一个真正的全流程闭环系统。该系统不仅要在计算端广泛连接开源模型、商业闭源模型以及机构私有部署的专属领域模型,更要在物理端实现深度穿透 —— 能够无缝调度与连接物理实验室、超净洁净室、化学实验室、生物实验室乃至半导体制造车间。
唯有当数字计算空间能够将物理世界中进行的一切科学探索、实验观测及其每一次试错与参数迭代完全纳入闭环,AI 才能在前沿科学中真正产生实质性突破。
也唯有此时,各基础学科的实体实验室才能被真正重构为可度量、可复现、可验证的标准环境(Verifiable Environments),进而使当前依赖确定性反馈的大模型训练范式,真正拓展并跨越至对未知规律的科学探索之中。