李飞飞团队造了个世界动作模型：换个底座，机器人成功率直接飙升

9月22日，以FLUX图像模型著称的Black Forest Labs跨界推出了开源7B世界动作模型FLUX 3 Action。根据其官方博客，该模型在英伟达RoboLab-120榜单上超越了此前最强的开源模型Cosmos 3 Nano，但参数量仅为后者的一半。一家专注于图像生成的公司转而涉足机器人控制，这表明视频模型中积累的“物理直觉”正被越来越多团队视为机器人大脑的基础。

这条路径被称为世界动作模型（World-Action Model，WAM）。自从今年2月英伟达在DreamZero论文中正式提出这一概念以来，相关研究论文迅速增多。然而，热闹背后存在一个尴尬问题：这些系统几乎都同时更换了视频骨干、训练数据、视频与动作的交互方式以及推理流程，因此难以确定究竟是哪个设计带来了性能提升。

本周，斯坦福大学李飞飞、吴佳俊、Ehsan Adeli等人组成的团队发布了一篇论文，提出了开放的世界动作建模框架OpenWAM，旨在系统性地回答这个问题。

• 论文标题：OpenWAM: An Open Framework for Composable World-Action Models
• 论文地址：https://arxiv.org/abs/2610.07922
• 项目主页：https://openwam.stanford.edu
• 代码仓库：https://github.com/OpenWAM/OpenWAM

为什么需要一张“统一考卷”

传统的视觉-语言-动作模型（VLA）就像一个凭条件反射驾驶的司机，看到画面、听到指令就直接输出动作。

而WAM则增加了一步“脑内预演”：同时预测接下来几秒的画面会如何演变，以及为此该如何行动。 视频天然记录了物体如何下落、碰撞和被推动，因此用海量视频预训练过的模型自带物理先验知识。

问题在于，“预测画面”和“生成动作”可以有多种耦合方式：先想象再动作、先动作再想象后果、两者同时生成，或者各自独立计算。各家选择不同，底座和数据也不同，放在一起比较，就像几位厨师同时换了食材、灶具和下锅顺序，很难判断菜肴的美味究竟归功于哪一步。

第二个问题更为隐蔽。机器人训练数据大多是成功示范，只告诉模型“正确的路怎么走”，几乎不包含“手多伸出去两厘米会怎样”。这好比只看过教练完美绕桩录像的学员，记住了路线，却不懂方向盘打多少车会偏多少。

OpenWAM对前者的回答是共享底座加上可切换的交互方式，对后者的回答是大规模“反事实”数据。

同一副骨架，四种“先想还是先动”

OpenWAM从阿里开源的视频模型Wan2.2-5B出发，首先在约334万条机器人与人类交互视频上继续预训练，名义时长约1.46万小时，全程不使用动作标签，在32块B200上训练了14天。

关键改动是“因果化”：每个视频块只能看到当前及之前的内容，不能偷看未来。原来的模型像拿着整本剧本反复修改台词，现在则要像直播一样按时间顺序逐步推进，这正是机器人逐步行动所需的方式。

随后，团队采用Mixture-of-Transformers（MoT）架构，将5B的视频专家和2B的动作专家整合在一起。两者各自保留归一化、投影和前馈层，仅在一层联合注意力中交换信息。

在这副骨架上，团队定义了四种“交互程序”：

• VTA：先想象画面再生成动作
• ATV：顺序相反
• Joint：让两者同时生成并互相参考
• Decoupled：则让两者在未来部分互不可见

这就像同一支乐队演奏同一首曲子，变化的只是谁先起奏、彼此能否听见。四者共用底座、tokenization和flow matching目标，唯一的变量是生成顺序和跨模态注意力，因此比较具有了“控制变量”的意义。

把“动作翻译器”拆出来单独训练

论文更具新意的部分，是将逆向动力学模型（IDM）和正向动力学模型（FDM）拆解为可独立训练的组件。

IDM类似翻译器：输入当前画面、机器人本体状态和一段想象出的未来视频，输出具体动作；FDM则相反，根据动作预测画面会变成什么样。

关键在于“局部”：两者都不接收任务指令和更早的历史，只关心“这一小段画面变化对应什么动作”。因此它们不绑定具体任务，可以和任何兼容的视频预测器拼接，视频模型决定“该发生什么”，IDM负责“怎么做到”。

但只学过成功示范的翻译器见识太窄。为此团队构建了LIBERO-Long-CF数据集：恢复示范中的仿真器状态，执行被改动过的动作，比如停止、反向、加噪声、改变夹爪开合时机等，共得到32000个片段、约410万条控制记录，是原始示范的29.7倍，其中72.3%的片段改变了物体的摆放状态。很多分支根本完不成任务，但这正是重点。回到驾校的比方，这相当于教练让学员故意多打半圈方向盘，学员记住的不再只是路线，还有车本身的脾气。

实验：底座很能打，翻译器能搬家

在LIBERO四个子集上，四种交互程序的成功率都很高，VTA平均达98.6%，略高于论文引用的LingBot-VA（98.5%）和π0.5（96.9%）等已报告结果。不过LIBERO已接近饱和，更值得关注的细节是：在LIBERO-Long上，未来部分互不可见的Decoupled（97.0%）与双向交互的Joint（96.6%）不相上下。

真机测试中，团队使用两台Franka FR3机械臂进行了烤面包、还原2×2魔方最后一层和按颜色分拣杯子等任务，VTA和Joint平均成功率分别为92.1%和91.9%。

消融实验显示了底座的分量：其他条件不变，使用原版Wan2.2初始化时，VTA在LIBERO-Long上只有68.4%，换成机器人视频预训练的因果底座后升至97.8%，提升了29.4个百分点。作者强调，这是数据与因果化改造的共同效果。

最关键的是组件迁移实验。团队将在LIBERO-Long上训练的IDM冻结，搭配针对四个LIBERO-90新任务调整过的视频预测器。

结果显示，使用示范加反事实数据训练的局部IDM平均成功率达84.0%，而接收完整上下文的IDM只有47.0%，仅使用示范训练的局部IDM更是只有21.5%。

“只看局部”和“见过足够多样的后果”缺一不可，两者结合才得到一个可迁移的动作翻译器。需要注意的是，目标任务上的视频预测器使用含动作标签的示范进行了微调，这并非零样本迁移，作者对此有明确说明。

FDM的结论一致。从同一状态出发执行16种不同动作，让模型判断预测画面对应哪个真实结果，随机猜测约为6%，仅使用示范训练的FDM为21.1%，加入反事实数据后升至71.3%，模型终于能分清“这样推”和“那样推”的区别。

结语

作者也坦承了局限：组件复用主要在仿真中验证，真机上“故意做错”的成本高得多；FDM也只覆盖短时程预测。但OpenWAM的价值不在于又多刷了零点几个百分点。在WAM论文以周为单位涌现的当下，一个固定底座、只改一个变量的公共试验台，能帮助领域从“谁的分更高”转向“为什么更高”。而可复用的动作翻译器则暗示，未来的机器人大脑或许不必是整体训练的黑箱，负责想象与负责落地的模块可以各自迭代、按需拼装。那些没能完成任务的轨迹，恰恰是让模型理解物理世界的养料。

目前，团队已开源训练、评测与组合代码，以及预训练视频模型权重。

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注AI的机器之心，36氪经授权发布。