从Google DeepMind的Genie 3到李飞飞的World Labs再到Runway的GWM-1,AI世界模型在过去一年多拿下了数十亿美元投资。目标是让AI不再只在文本上打转,而是真正理解物理世界的空间和因果。但这条路远没有走通。

大语言模型有一个看起来无解的缺陷:它们是一流的词汇大师,却从未亲手推倒过一杯水,不知道杯子翻了之后水会往哪里流。李飞飞的描述极其精准:"它们是黑暗中的词匠,口才一流但毫无经验,知识渊博但没有根基。"Yann LeCun说得更不客气:沿着LLM延伸到人类级智能是"一派胡言"。

世界模型要做的事恰好相反。它试图在软件里构建一套对物理环境的内部表征,然后让AI以此为基础模拟"下一步会发生什么"。MIT的Vincent Sitzmann的定义简洁:一个世界模型"接收交互,并让你模拟环境中接下来会发生的事"。李飞飞给出的三条标准是:生成的世界必须具备感知、几何和物理的一致性;天然就是多模态的;能基于输入动作输出对应的下一个状态。

LLM之后的下一个战场:模拟整个物理世界的世界模型
身穿黑色连帽衫的Ben Mildenhall和李飞飞

过去一年多,这一领域涌入了天文数字的资金。李飞飞和Ben Mildenhall联合创办的World Labs融资约10亿美元,其旗舰模型Marble能从文字、图像或视频生成3D环境。Google DeepMind的Genie 3可以实时交互模拟。Runway的GWM-1是一组三个专用世界模型,背后是3.15亿美元融资。LeCun的AMI项目也拿到了大约10亿美元。

但问题也很严峻。主导的技术路线是基于视频的自回归扩散模型,帧逐帧去噪生成,成本极高,且模拟会漂移,早期帧的信息会在连续生成中逐渐丢失。World Labs走了一条更折中的路:直接输出3D高斯泼溅和NeRF文件,与现有的3D工作流对接。Mildenhall说得很直白:"我们选择烤成3D输出,是为了能去找那些今天就有工作负载的人聊天。"

LLM之后的下一个战场:模拟整个物理世界的世界模型
通过文字提示和二维参考图像创建的三维场景

世界模型还面临一个更根本的问题:互动范式。LLM靠一个对话框统一了全世界。世界模型用什么接口?游戏手柄?Blender视图?机器人的非人感官?Mildenhall称之为"最关键的问题",没有共识。

写这篇报道时,没有任何人能确定世界模型是否能复现LLM的成功路径。但众多顶尖研究者已用资金和行动投了票,他们赌的是AI的下一场革命将不在文本中发生,而在物理世界里。

LLM之后的下一个战场:模拟整个物理世界的世界模型
利用视频世界模型,帮助训练自主机器人执行剥皮胶带等任务,这并不像看起来那么简单

原文:https://arstechnica.com/ai/2026/07/simulating-everything-sort-of-the-promise-and-limits-of-world-models/