田晏林 发自 凹非寺

量子位 | 公众号 QbitAI

好家伙，世界动作模子（WAM）赛说念，中国团队径直冲到了寰球第一？！

而况，GPT-6-Astra、Physical Intelligence的π0.5、英伟达GR00T-N1.7等一众寰球头部具身模子，此次王人被甩在了死后。

开端的是一家中国机器东说念主公司——清华唯独持股的直系具身公司，星动纪元。

近日，星动纪元自研的世界动作模子VPP2，一举登顶RoboDojo仿真榜单。

详细平均告捷率32.26%，详细平均得分39.26分，两个观念双双第一。

环节是，这场比赛还真不好打。

RoboDojo堪称具身智能界的「珠穆朗玛峰」，由香港大学MMLab牵头，寰球近20所顶尖学术机构共同缔造。

它专挑机器东说念主不擅长的地方出题：换个环境，还会不会干活？东西摆歪了，还能不成抓准？任务作念到一半，还记不谨记前边发生了什么？

总之，想靠刷熟练度蒙混过关，没那么容易。

阁下呢？

星动纪元VPP2不仅拿下详细第一，在泛化能力、精采操作、回首能力三个维度上，也拔得头筹。

外传，此次VPP2莫得独特加数据，也没用Agent RSI等增强妙技，仅靠「圭臬数据集」，就把一众妙手给卷了下去。

这代表着VPP2模子自身填塞强，性能擢升来自预教悔，基座填塞泛化，因此不靠外挂增强策略，不靠扩凑数据「刷分」。

不是，哥们儿，这样夯的模子到底是怎样练出来的啊？？？

咱们往本领道路里扒了扒，你别说，VPP2此次的错杂，还真有点东西。

它对准了世界动作模子的一说念老浩劫问题：预计错了，动作就随着错。

VPP2给出的解法，是先把视频预计能力练到填塞强，再让机器东说念主在生分环境里信得过动起来。

从预计到行径，两种泛化能力通盘擢升。

从当今线路的多项测试阁下来看，VPP2依然成为世界动作模子WAM赛说念中，最有竞争力的选手之一。

世界动作模子WAM，卷出一个新冠军

具身智能行业有个挺窘态的样貌。

机器东说念主Demo越作念越炫，模子榜单分数也越来越高，但真要问一句，谁的机器东说念主更理智、更颖悟活？

还真不好回复。

比如让机器东说念主抓杯子。在教悔时见过的桌面上，它可能百发百中。阁下换个杯子、挪下位置，坐窝运转怀疑东说念主生。

更别提那些需要灵通膨胀多个门径的任务了。

这亦然为什么，RoboDojo这套评测值得心扉。

它的场地是为具身智能设立融合、可复现的评测圭臬，仿真测试包含42项双臂操作任务，掩饰泛化、精确操作、长程任务、回首、怒放词汇提示领路五个维度。

说白了，即是把机器东说念主拉出旺盛区。

传统机器东说念主模子在谨慎任务上可能接近满分，一朝环境、物体位置、任务组合发生变化，告捷率可能赫然下跌。

RoboDojo专门对这类复杂情况进行考验，看机器东说念主面临变化时，有若干泛化能力。

而VPP2此次交出的得益单，绝顶亮眼。

平均告捷率32.26%、平均得分39.26分，两个观念均位居榜首。

算作对比，在RoboDojo仿真基准的后教悔评测中，GPT-6-Astra的平均告捷率为22.48%，平均得分28.97分。

而VPP2辩别越过9.78个百分点和10.29分。

论文截图，基线模子数据取自官方排名榜

这里两个观念各有侧重：告捷率看机器东说念主能否完好完成任务；平均得分则揣测任务激动到了哪一步，即便没能全部完成，也能体现其阶段性弘扬。

两名观念均详细了五大能力维度的测试阁下。

换句话说，VPP2不仅完成任务的比例更高，面临没能作念完的任务，也体现出了更强的阶段性完成能力。

而况，这种越过并不局限于详细得益。

终止五项能力维度来看，VPP2在泛化、精确操作、回首三个维度上，不异拿下等一。

这三项能力对应着机器东说念主参预确切世界的几说念难关：换个环境还能不颖悟活，操作能不成作念准，以及灵通膨胀任务时能不成记着前边的门径。

详细得益越过，环节能力也能打。

不外，RoboDojo再难，科场终究照旧「仿真环境」。真到了物理世界，物体的摩擦、形变、位置偏差，又会陡生变数。

VPP2在仿真里展现出的泛化能力，到了真机上还能成立吗？

星动纪元也作念了实验。

此次，团队径直把VPP2部署到确切ALOHA双臂机器东说念主上，测试了抓取、放弃、堆叠、折叠、倾倒等10类零样本操作任务。

也即是说，无需针对这些测试任务进行独特微调，机器东说念主就得径直上手。

阁下，VPP2再次交出越过得益：平均告捷率58.5%，高于π0.5的40%。

在10类任务里，VPP2拿下了9类最好得益。

这下挑升旨兴趣了。

榜单第一，解说的是它在圭臬评测体系里的能力；真机零样本操作，则进一步考验这些能力能否迁徙到确切物理环境。

两份得益单摆在通盘，VPP2的本领上风就更值得深挖了。

要知说念，VPP2走的是世界动作模子（WAM）道路。

这类模子的基本想路，是借助视频预计领路物理世界接下来会如何变化，再把这种预计回荡为机器东说念主动作。

但这条道路遥远存在一个问题：视频预计得漂亮，不代表机器东说念主真的会干活。

VPP2此次，偏巧就冲着这个问题去了。

从预计泛化到行径泛化，VPP2怎样作念到的？

想领路VPP2的错杂，先来看一个通俗任务：让机器东说念主把桌上的杯子放进盒子里。

对东说念主类来说，伸手收拢、抬起来、放进去，险些无谓想考。

但机器东说念主得判断杯子的位置、机械臂的畅通轨迹、夹爪何时闭合，还要预计系数操作过程中，物理世界会发生什么变化。任何一步出了偏差，王人可能翻车。

现存的世界动作模子（WAM），适值容易在这里出问题。

一方面，普通视频模子擅永生成画面，但画面看着合理，和妥当确切物理规则是两回事。

比如条目抓左边的杯子，模子却预计抓起右边阿谁。视频照样能生成，机器东说念主膨胀时却会径直跑偏。

另一方面，径直把动作学习加入视频模子，还可能损害蓝本的泛化能力。

阁下动作学会了，机器东说念主换个环境却不会作念了。

VPP2建议了一个很径直的判断：视频预计的质地，决定了动作的上限。

基于这一想路，星动纪元聘请将视频预计与动作学习分阶段教悔，要点不是「视频、动作一锅炖」，而是把两者「解耦」，再行「排序」。

星动纪元为此遐想了一套三阶段教悔策略：

第一阶段，事件级视频络续预教悔，让模子学会预计完好操作过程。第二阶段，固定时长视频后教悔与蒸馏，让预计能力跟得上机器东说念主及时膨胀的速率。第三阶段，动作各人教悔，将视频预计回荡为具体动作，同期尽量保住原有的泛化能力。

三个阶段层层递进，最终指向两个中枢错杂：预计能泛化，行径也能泛化。

第一个错杂：让视频预计具备泛化能力

VPP2领先要贬责的，是机器东说念主能否准确预计生分任务中的物理变化。

星动纪元以阿里开源的Wan2.1-I2V-14B为基础，整合机器东说念主操作、东说念主类举止、通用视频等多种数据，掩饰不同机器东说念主骨子和操作方法。

不外，信得过挑升旨兴趣的是它对数据的处理。

团队莫得通俗地把视频一股脑喂给模子，而是先将操作过程切分红语义完好的片断，再配上谨防形容。

比如，不成只告诉模子「把杯子放进盒子」，还要明确是哪只机械臂、哪个杯子、哪个盒子，以及系数操作过程。

因为归并句吞吐提示，可能对应巨额种动作轨迹。

模子如果连操作对象王人没搞了了，当然很难准确预计改日。

VPP2索性把任务形容得更细，让说话提示和物理操作酿成更踏实的对应关联。

更环节的一步，是事件级视频预计教悔。

传统短时预计心扉接下来几帧会发生什么，而VPP2径直让模子学习一次完好操作从运转到收尾的变化。

从机械臂围聚杯子，到收拢杯子，再到放进盒子，模子要领路的是一整件事如何发生。

这样一来，面临新的物体、位置致使操作任务，它才更有契机预计合理的物理变化。

在机器东说念主操作视频的提示遵命测试中，14B参数的VPP2达到90%的告捷率，而64B参数的Cosmos3模子为78%。

14B打赢64B。

这也证明，在物理操作预计中，参数边界并非唯独的赢输手，能否信得过领路操作过程不异要紧。

不外，预计得再准，机器东说念主动不起来，也空费。

第二个错杂：让预计泛化变成行径泛化

这里有两说念坎，一是速率，二是如安在学会动作的同期，保住视频模子原有的泛化能力。

第一说念坎很好领路。如果让机器东说念骨干活，每个动作发生前王人要花几秒生成视频，那么再强的预计能力也很难派上用场。

星动纪元聘请先给预计模子提速。

团队将事件级预计模子进一设施整为固定8秒的视频片断预计，再通过一致性蒸馏，将多步野心压缩为单步生成。

最终，预计改日8秒的视觉变化，野心耗时约0.12秒。

第二说念坎，稍许辣手一些。

前边好收敛易让视频模子学会了预计生分任务，阁下加入动作教悔后，模子反而只会膨胀谨慎的操作。

动作能力长出来了，泛化能力却丢了？VPP2要作念的，即是同期跨过这两说念坎。

VPP2引入一个0.9B参数的扩散Transformer（Action DiT），采取MoT架构，学习如何证实预计的改日气象生成机器东说念主动作。

但星动纪元莫得径直将视频预计模子（Video DiT）和动作各人通盘重新教悔。

在动作教悔初期，视频模子的基础参数被冻结，仅通过LoRA进行适配，尽量幸免动作教悔破损已有的预计泛化能力。

绝顶于先让机器东说念主领路物理世界怎样变化，再教悔它如何把这种「领路」回荡为「动作」。

两种能力分阶段滋长，又相互配合。

最终，视频预计约耗时0.12秒，动作各人约耗时0.1秒，合座动作片断生成延长约为0.22秒。

固然，架构再漂亮，也得看最终恶果。

前边提到的ALOHA确切机器东说念主零样本测试，依然展现出VPP2将预计能力回荡为生分任务操作的后劲。

另外两套泛化测试，则进一步考证了这条道路。

LIBERO-Pro考验物体位置、任务条目变化后的操作能力，VPP2取得45.0%的总体告捷率，其他基线模子最高为11.0%。

LIBERO-OOD则考验组合泛化，将谨慎的物体、布局和任务场地再行组合，酿成此前没见过的新任务。

VPP2的总体告捷率达到63.9%。

把这些阁下放在通盘看，VPP2的本领想路就了了了。

先通过多源数据、谨防任务形容和事件级预计教悔，让模子更准确地预计物理变化。

再通过蒸馏加快、分阶段动作学习，将这种预计能力回荡为执行操作，同期尽量保留原有的泛化能力。

具身智能的性能上限，赫然还没到只可靠边界硬堆的地步。

VPP2再次证明，优化数据管线、调养教悔范式，这些看似朴素的工程方法，仍然有契机带来可不雅的模子性能擢升。

从GPT到WAM，物理AI正在酿成新范式

预计能泛化，行径也能泛化，是VPP2算作世界动作模子WAM，最值得心扉的中枢错杂。

但确切任务每每愈加复杂。机器东说念主不仅要知说念怎样作念，还得判断先作念什么、后作念什么。

这就需要更高层的剖判与野心能力参与进来。

星动纪元这里孝顺了一个想路：GPT认真想，VPP2认真作念。

前者认真领路、推理和野心，把复杂任务拆解成明确门径；后者认真预计物理世界如何变化，再将野心回荡为具体动作。

这一想路，在VPP2论文中依然有了初步的实验复旧。

团队执行采取的是VLM高层野心器，由其认真语义领路、回首和任务拆解，再将明确的子任务交给VPP2膨胀。

阁下绝顶直不雅。在RoboDojo采取的长程任务测试中，引入VLM子任务野心后，平均告捷率从27.6%擢升至57.6%。

这意味着，机器东说念主要完成复杂任务，光有弘大的动作能力还不够。高层野心与底层膨胀能否配合，不异影响任务完成恶果。

顺着这条想路往后看，GPT＋VPP2有望酿成一种新的物理AI本领范式：通用剖判＋通用物理膨胀。

GPT等通用模子认真领路意图、推理和野心，VPP2这样的WAM认真预计物理变化、生成动作，再通过膨胀响应不绝调养。

从剖判、野心、预计，到膨胀、响应，一套完好的物理AI闭环牢固清亮。

而这，也让WAM的价值有了更大的遐想空间。

模子能力要通过骨子与物理世界交互，确切使用又会泄露失败、产生响应，推动模子和硬件络续矫正。

星动纪元同期作念大脑、骨子和理智手，「深全栈」的策略不错在这一逻辑中得到解释：公司试图掌合手的不仅是教悔关节，也包括能力落地与响应回流的关节。

u1s1，本领道路再漂亮，最终照旧得去确切世界里干活。

星动纪元在这方面，已与中国邮政、顺丰等企业开展配合，在世界5个省市、10余个物流中心常态化运营。

物流场景中的货品尺寸、摆放位置、功课过程王人可能发生变化。不异一套操作，换个仓库，机器东说念主可能就得再行适合。

这也对机器东说念主的泛化能力建议了更高条目。

模子能否把学过的技艺迁徙到生分任务中，径直关联到改日跨场景部署的效用和老本。

固然，已有物流业务的买卖化进展，并不料味着VPP2依然已毕边界化部署。模子能否在更多确切场景中遥远踏实运行，还需要进一步考证。

但VPP2此次的得益，依然开释出一个值得心扉的信号。

世界动作模子的竞争，正在从预计改日，进一步走向把预计回荡为通用行径。

回头再看RoboDojo登顶，值得心扉的也就不仅仅一个第又名了。

从仿真到真机，从预计泛化到行径泛化，VPP2的一系列实验阁下标明：视频预计与动作学习的分阶段教悔，如实不祥擢升机器东说念主在生分任务中的操作能力。

而随着GPT等通用剖判模子与WAM进一步连合，物理AI也有望酿成更完好的能力体系。

说到底，具身智能下一轮比拼的，即是机器东说念主能否把学到的技艺，带进更多生分场景。

预计得准，还要作念得到。这才是世界动作模子信得过走向物理世界的环节。

PS：VPP2现已开源，感兴趣的一又友不错上手试试，复现一下论文阁下。

如竟然跑出什么惊喜，记获取来跟咱们唠唠～

1.开源代码:https://github.com/roboterax/video-prediction-policy-2

2.名目主页：https://robert-gyj.github.io/video-prediction-policy-2