10月8日，Hugging Face每日论文榜收录了一篇来自英伟达团队的机器人论文《Long-WAM: Scaling the Context of World-Action Models》（Long-WAM：扩展世界动作模型的上下文，arXiv:2610.10528）。论文作者来自英伟达、麻省理工学院（MIT）、香港大学和加州大学圣地亚哥分校，共16人，包括Wei Huang、Bohan Zhang、Linxi “Jim” Fan、Xiaojuan Qi、Song Han和Yukang Chen等，提交时间为北京时间10月8日凌晨1点58分。
先说什么是世界动作模型。据论文介绍，世界动作模型（World-action models，简称WAM）把视频预测带进了闭环控制：模型不只决定机器人下一步怎么动，也会预测画面接下来怎么变化。论文写到，一张图片能看出物体在哪里，却看不出它在怎么动、交互进行到了哪一步，所以视觉历史天然是动作的依据。
问题在于，处理更多历史会拖慢反应。作者提出的问题是：WAM的控制效果如何随视觉上下文变长而变化，又怎样在实时约束下保住这些收益？Long-WAM就是他们给出的“模型＋系统”框架。
论文最核心的发现可以概括成一句话：能访问历史，不等于会用历史。据论文，只有当视频底座是用自回归（AR）方式预训练的，更长的历史才会带来明显得多的收益。
具体做法分几步。第一步是视频预训练：团队在LongLive-2.0的16秒自回归检查点基础上继续训练，得到LongLive2.0-Robot，所用数据约为10,000小时（按窗口折算）的机器人视频和第一人称人类视频，来自RoVid-X、AgiBot World、EgoDex、EgoVerse和VITRA五个数据集。由于只用视频监督、不需要动作标签，模型可以从多种机器人形态中学习。
第二步是“因果到因果”的动作适配：接上动作专家时，保留视频预训练学到的“从历史到未来”的时间结构。视频查询只读自己和更早的画面块，从不读动作；动作查询则读已观测的历史、部分去噪的未来画面和整段带噪动作块。论文把这种“先预测、再行动”的方式称为逆动力学建模（IDM）。推理时，未来画面只在潜空间里推演，从不解码成像素。

图1：Long-WAM总览：①用约10,000小时、5个数据集的机器人视频和第一人称人类视频做自回归视频预训练；②因果到因果的世界动作适配；③扩展上下文，RoboCasa GR-1提高15.4个百分点、LIBERO-Long提高5.0个百分点；④在RTX 5090、DGX Spark和Jetson Thor上高效部署。来源：arXiv论文《Long-WAM: Scaling the Context of World-Action Models》（arXiv:2610.10528）。
第三步是扩展上下文。据论文，在RoboCasa GR-1桌面任务上，把历史窗口从0秒加到19.2秒，成功率从63.3%升到78.7%，提高15.4个百分点；在LIBERO-Long上，2.4秒历史就把成功率从94.5%提到99.5%。
作者做了对照：同样做因果适配，换用双向预训练的Wan2.2作初始化，长上下文的收益就没有了。论文写到，这个双向版本从2.4秒时的61.7%升到9.6秒时的64.1%，到19.2秒又回到61.6%；两个自回归版本在2.4到19.2秒区间则分别提高了12.4和11.0个百分点。机器人领域自回归版本的领先幅度，从无历史时的3.3个百分点扩大到19.2秒时的17.1个百分点。
上下文也不是越长越好。据论文，把窗口拉到38.4秒时，成功率降到75.2%和74.2%。作者解释，这个窗口是平均训练轨迹（12.1秒）的三倍，采样到的历史帧有80.4%是填充，他们推测下降来自历史覆盖不足，而不是记忆能力本身的上限。更长的上下文同样有代价：历史增加到8倍，RTX 5090上的延迟增加到3.2倍（从107.4毫秒到341.0毫秒）。
仿真基准上，据论文，Long-WAM（IDM）在LIBERO上平均成功率99.5%，在LIBERO-Long上比LingBot-VA和Fast-WAM分别高1.0和4.3个百分点；在RoboTwin 2.0上平均94.4%；在加入移动物体的DOMINO上，经过动态数据微调后成功率34.9%、操作分45.1，分别比Fast-WAM高15.0个百分点、比PUMA高10.1分。

图2：评测环境：左为LIBERO、RoboTwin 2.0、DOMINO和RoboCasa四个仿真基准，右为G1和YAM上的8种真实任务配置，包括四种传送带速度下抓杯、动态叠杯、叠碗、按颜色分拣积木和把饺子放进锅里。来源：arXiv论文《Long-WAM: Scaling the Context of World-Action Models》（arXiv:2610.10528）。
“先预测、再行动”本身也有用。论文的消融显示，在LIBERO-Long上，IDM方式达到99.5%，不预测未来画面的版本是94.5%，视频和动作联合去噪的版本是97.8%。作者认为，先估计交互会怎样演变，有助于协调后面多个子步骤的动作。
第四步是让模型在边缘设备上实时跑起来。据论文，团队采用异步执行：机器人边执行，模型边推理下一段动作；同时用流式VAE在观测到达时就逐块编码，减少触发后的计算。论文称，自回归视频底座的预测能力让动作衔接平滑，不需要混合或前缀引导。
加速方面，视频专家的线性层用W4A4 NVFP4（四比特权重和激活）量化，动作计算和KV存储保留BF16，再配合CUDA Graph重放、PyTorch编译、推理调用内的KV复用、共享输入量化和视频-动作在线softmax等优化，最后按设备做针对性调优。
结果是：在RTX 5090上，每个动作块（含未来画面潜变量预测和完整的观测VAE计算）耗时107.4毫秒，比未优化的BF16 eager执行快3.3倍；在DGX Spark和Jetson AGX Thor上分别为328.2毫秒和378.7毫秒，提速4.1倍和3.2倍。据论文表格，Fast-WAM在RTX 5090上为244.1毫秒，Long-WAM在还要多预测未来画面的情况下快了2.3倍。
速度和效果之间也有取舍。论文写到，优化后RoboTwin 2.0成功率从94.4%变为93.5%；每位专家只用两步去噪的版本延迟降到81.8毫秒，成功率再降1.0个百分点。异步执行几乎不掉点：IDM版本只比同步低0.2个百分点（94.4%到94.2%），而Fast-WAM和LingBot-VA分别下降15.4和45.5个百分点。
真机测试在宇树Unitree G1人形机器人和YAM双臂机械臂上进行，每种策略、每种条件各做20次试验；G1上的对比对象是π0.5和Fast-WAM。
传送带抓杯任务里，带速从每秒3.0厘米加快到7.5厘米时，据论文，Fast-WAM的抓取成功率从75%跌到0%，π0.5从15%跌到0%，Long-WAM则保持在90%到100%（依次为100%、100%、95%和90%）。
更难的是动态叠杯：以每秒3厘米移动的绿杯要被放进蓝杯，除了拦截还得对准放置。论文写到，Long-WAM在20次中成功19次，两个基线一次都没成功。

图3：宇树G1上的动态操作：上方柱状图比较π0.5、Fast-WAM、Long-WAM和人类遥操作在叠杯及不同带速抓杯上的成功率；下方是Long-WAM成功、Fast-WAM失败的过程画面。来源：arXiv论文《Long-WAM: Scaling the Context of World-Action Models》（arXiv:2610.10528）。
长程任务在YAM上进行，平均每个任务超过40秒。Long-WAM在按颜色分拣积木、把饺子放进锅里和叠碗三项任务上分别成功80%、80%和85%，平均81.7%。
论文还把Long-WAM当作分层系统里的“执行者”来测：在RoboCasa365上，用一个以Human300数据训练、带2.4秒视觉上下文的检查点，不做任何额外训练，接上GPT-6 Astra做高层规划。规划器负责把目标拆成原子子指令，Long-WAM负责输出动作。
据论文，这样搭配后总体成功率从31.4%升到54.4%，规划器单独只有25.2%；没见过的组合任务从6.1%升到35.0%。加规划器给Long-WAM带来23.0个百分点的提升，给π0.5只带来13.6个百分点。作者认为，执行能力越强，规划越能发挥作用。
训练成本方面，论文写明LongLive2.0-Robot预训练约用30,720个GPU小时、64块英伟达H100，下游WAM在16块GB200上训练。论文同时给出了代码仓库（GitHub上的NVlabs/LongLive）和项目主页。
把“上下文长度”当成一种资源来讨论，是这篇论文最值得看的地方：历史画面有没有用，取决于底座是否学过从过去预测未来，也取决于系统能不能及时把预测变成动作。不过，真机实验每项只有20次，传送带速度和任务种类也有限，长上下文在更复杂的家庭环境里是否同样奏效，还需要更多独立复现。（以上为本号观点）
来源：arXiv论文《Long-WAM: Scaling the Context of World-Action Models》（arXiv:2610.10528v1，cs.RO），作者来自英伟达、麻省理工学院、香港大学和加州大学圣地亚哥分校，2026年10月7日（UTC）提交，链接 https://arxiv.org/abs/2610.10528 。文中三张配图均为该论文原图。