Summary

Long-WAM 研究 causal world-action model(WAM)的视觉历史长度能否转化为控制收益:先在约 10,000 window-equivalent 小时的 robot/egocentric 视频上做 action-free 的 autoregressive(AR)视频预训练(LongLive2.0-Robot),再以保持因果顺序的方式接 action expert(先预测未来 latent、再条件化去噪 action 的 IDM 模式)。核心发现是”能访问历史 ≠ 会用历史”:RoboCasa GR-1 上 context 从 0.0 s 拉到 19.2 s,AR 初始化的成功率从 63.3% 升到 78.7%,而 bidirectional(Wan2.2)初始化没有净收益。配套的异步执行、streaming VAE 与 NVFP4 加速把 2.4 s context 下单个 action chunk 的推理压到 RTX 5090 上 107.4 ms,并在 Unitree G1 / YAM 真机上做动态拦截与长程操作。

Problem & Motivation

单帧观测能给出物体位置,却给不出运动方向与交互进度;WAM 把视频预测接进闭环控制,历史帧是天然的输入资源,但更长的历史意味着更长的 prefill 与更慢的响应。已有 WAM(DreamZero、LingBot-VA)把 bidirectional 预训练的视频生成器改造成 causal 控制器,因果结构只在下游 action 适配阶段才学;LingBot-VA 2.0 则联合预训练 causal video 与 latent action。作者的问题是:WAM 的控制性能如何随 context 长度变化,这种收益依赖什么条件,以及能否在实时约束下保住它。

Method

1. LongLive2.0-Robot(AR 视频预训练)

  • 从 LongLive-2.0 的 16 s AR checkpoint 继续训练,数据为 RoVid-X、AgiBot World、EgoDex、EgoVerse、VITRA 共约 2.29M 个 TI2V 样本;“~10,000 小时” 是按每个样本 16 s 折算的 window-equivalent 估计,不是唯一原始素材时长(Appendix B.1 自陈)。
  • 纯视频监督,不需要跨 embodiment 统一 action space;序列最长 30 s,用 LongLive-2.0 的 sequence-parallel AR 训练,block-causal teacher forcing + 来自 SVI 的 error recycling(对 context/latent/noise 加 buffered model error,target 仍回归原始 latent)。
  • 预训练成本约 30,720 GPU-hours(64×H100);下游 WAM 在 16×GB200 上训练。

2. Causal-to-causal world-action adaptation

  • 沿用 DreamZero / LingBot-VA 的非对称 video/action expert 接口:video query 只读自己及更早的视觉 block、永不读 action token;action query 读观测历史、部分去噪的未来 latent 与整个 noisy action chunk。
  • IDM 模式(predict-then-act):video expert 从噪声 rollout 4 步,停在 σ★=0.9(不去噪到干净视频、不解码到像素),把历史+未来的 layer-wise KV 交给 action expert,action 去噪全程复用该 KV。对照模式:w/o V(无未来视频)与 CoD(video/action 联合 co-denoising)。
  • 训练两 pass:video flow matching;action flow matching 以前向加噪到 σ★ 的 ground-truth future 为条件,且 detach 视觉 cache(action loss 只更新 action expert 与本体感知 adapter)。作者明确承认训练用”带残余 GT 成分的未来 latent”、推理用模型 rollout,两者分布不同,是 training approximation。

3. Context scaling 实验设计

  • 只改变 causal prefix 中真实观测的时长,未来预测与 action horizon 固定;每个 context 窗口单独训练一个模型,在其训练长度下评测;早期历史不足时重复首帧 padding。
  • 比较三种视频初始化:Wan2.2(bidirectional)、LongLive-2.0(通用 AR)、LongLive2.0-Robot(robot-domain AR),统一做 causal WAM 适配。GR-1 扫 0–38.4 s,LIBERO-Long 做补充。

4. 部署基建

  • 纯异步执行:chunk 长 H,只执行前 R 步,触发步长 S,overlap O=R−S;handoff 时丢弃已过期前缀、直接切换,不做 blending / RTC 式 inference-time guidance / 训练期 prefix conditioning。
  • Streaming VAE:随观测到达逐组做 causal VAE 编码,触发后只编码剩余帧,满足 T_ready ≤ OΔt 的 handoff deadline,从而允许更短的 overlap。
  • 加速:video expert 线性层 W4A4 NVFP4(action 计算与 KV 存储保持 BF16)+ CUDA Graph + torch.compile;单次调用内复用 denoising-invariant 的 text/state/观测视频 KV;QKV 共享输入量化;video/action 两个 KV buffer 用 online softmax 合并而非拼接;再加 RTX 5090 / DGX Spark / Jetson AGX Thor 的分设备 kernel 调优。

Key Results

Context scaling(核心证据,RoboCasa GR-1 / LIBERO-Long,Figure 6)

  • GR-1:LongLive2.0-Robot 初始化 0.0 s → 19.2 s,63.3% → 78.7%;2.4 s → 19.2 s 为 66.3% → 78.7%,LongLive-2.0 为 65.7% → 76.7%。
  • Bidirectional(Wan2.2)初始化:61.7%(2.4 s)→ 64.1%(9.6 s)→ 61.6%(19.2 s),无净收益;robot-domain AR 对它的领先从无历史时 3.3 点扩大到 19.2 s 时 17.1 点。
  • LIBERO-Long:2.4 s 历史即把 94.5% 提到 99.5%(LongLive-2.0 初始化 94.2% → 99.0%),峰值 context 远短于 GR-1,作者解读为任务依赖的记忆需求。
  • 38.4 s 时 GR-1 回落到 75.2% / 74.2%;该窗口是平均训练轨迹(12.1 s)的约 3 倍,80.4% 的历史帧是 padding——作者只是假设下降来自历史覆盖不足而非内在记忆上限,未做验证。
  • 代价:RTX 5090 上 0 s / 2.4 s / 19.2 s 历史对应 74.6 / 107.4 / 341.0 ms 每 chunk。

仿真 benchmark

  • LIBERO:IDM 平均 99.5%,LIBERO-Long 99.5%(Table 1:w/o V 94.5%,CoD 95.8%;正文 §5.3 把 CoD 写成 97.8%,实为 CoD 的四套件平均,属论文笔误)。
  • RoboTwin 2.0:平均 94.4%(Clean 94.7 / Randomized 94.2),比 ABot-M0.5 高 0.3、比 LingBot-VA 2.0 高 0.8——差距在噪声量级。
  • DOMINO(动态物体,经 dynamic-data 微调):34.9% SR / 45.1 MS,Fast-WAM 19.9% SR。
  • RoboCasa GR-1 表:78.7%,比最强基线 Cosmos Policy(67.1%)高 11.6 点。

注:LIBERO / RoboTwin 2.0 / DOMINO 主结果使用最多 2.4 s context,长窗口研究只在 GR-1 上做。

层级系统(RoboCasa365,Human300 训练、2.4 s context 的 checkpoint,加 planner 时不再训练 policy)

  • Long-WAM 单独 31.4% Overall,+GPT-6 Astra planner 54.4%;planner 单独 25.2%,π0.5 16.9% → 30.5%。Composite-Unseen 6.1% → 35.0%。外部基线分数取自 leaderboard(Qwen-RobotManip 例外,取自其技术报告)。

部署

  • RTX 5090 V4/A4 端到端 107.4 ms(含观测 VAE),较 BF16 eager(356.0 ms)3.3×;RoboTwin SR 94.4% → 93.5%。DGX Spark 328.2 ms,Thor 378.7 ms。
  • 纯异步(S=12, R=24)下 IDM 94.4% → 94.2%,Fast-WAM 掉 15.4 点、LingBot-VA 掉 45.5 点。
  • 真机 Unitree G1:传送带 3.0 → 7.5 cm/s 抓杯 100/100/95/90%,Fast-WAM 75% → 0%、π0.5 15% → 0%;动态叠杯 19/20,两基线 0/20。YAM 平均 >40 s 的长程任务成功率 80/80/85%(均值 81.7%)。每条件 20 次。

Evidence Ledger

Claim IDClaimTypeSource locatorEvidence excerptStatus
C1GR-1 上 context 0.0 → 19.2 s,成功率 63.3% → 78.7%numberAbstract; Fig.1; §1; Fig.6(b)“increasing context from 0.0 to 19.2 seconds raises success from 63.3% to 78.7%“source-verified
C2Wan2.2 初始化 61.7(2.4s)→64.1(9.6s)→61.6(19.2s);robot AR 领先从 3.3 扩大到 17.1 点comparison§5.3 AR vs Bidirectional; Fig.6”rises from 61.7% at 2.4 seconds to 64.1% at 9.6, then returns to 61.6% at 19.2”source-verified
C3LIBERO-Long 2.4 s 历史:94.5→99.5(Robot AR),94.2→99.0(LongLive-2.0)number§5.3 Context Scaling; Fig.6(a)“raises LIBERO-Long success from 94.5% to 99.5% with LongLive2.0-Robot and 94.2% to 99.0%“source-verified
C438.4 s 降到 75.2/74.2;窗口约为平均轨迹 12.1 s 的 3 倍,80.4% padding;下降原因为作者假设causal-mechanism§5.3; Appendix A”80.4% of its sampled history frames are padding. We hypothesize that the decline reflects limited history coverage”source-verified
C5GR-1 78.7% 比最强基线 Cosmos Policy 67.1% 高 11.6 点comparison§5.3; Table 4”its 78.7% exceeds the strongest GR-1 baseline by 11.6 points”source-verified
C6Table 4 把 63.3% 标为 2.4 s,与正文(2.4 s=66.3%)和摘要(0.0 s=63.3%)矛盾;Fig.6(b) 显示表格标签有误benchmark-settingTable 4 vs §5.3 vs Abstract/Fig.6(b)Table 4: “Long-WAM (2.4 s) | 63.3”; §5.3: “from 2.4 to 19.2 seconds improves success from 66.3%“source-verified(论文内部不一致)
C7LIBERO IDM 平均 99.5,LIBERO-Long 99.5;LIBERO-Long 上 w/o V 94.5、CoD 95.8(Table 1)numberTable 1; §5.3 Denoising StrategyTable 1 CoD: “98.6 | 99.8 | 96.8 | 95.8 | 97.8”contradicted → 已更正(原草稿照正文写 CoD 97.8,Table 1 为 95.8)
C8RoboTwin 2.0 平均 94.4(Clean 94.7 / Rand 94.2),比 ABot-M0.5 高 0.3、比 LingBot-VA 2.0 高 0.8comparison§5.2; Table 2”leads on average (94.4%) and Clean (94.7%), and ties the best Randomized score”source-verified
C9DOMINO(dynamic-data 微调后)34.9% SR / 45.1 MS;Fast-WAM 19.9% SRnumber§5.2; Table 3”After dynamic-data fine-tuning, Long-WAM leads with 34.9% SR and 45.1 MS”source-verified
C10RTX 5090 V4/A4 107.4 ms(含观测 VAE),BF16 eager 356.0 ms 的 3.3×;SR 94.4→93.5number§1; §6.2; Table 6/8”107.4 ms per action chunk on RTX 5090, including the full observation VAE computation, a 3.3× speedup”source-verified
C11107.4 ms 对应 2.4 s 历史;19.2 s 为 341.0 ms,0 s 为 74.6 msbenchmark-settingAppendix G, Table 12”48 | 2.4 | 107.4” … “384 | 19.2 | 341.0”source-verified
C12全部优化后 DGX Spark 328.2 ms、Thor 378.7 msnumber§6.2; Table 8”yielding 107.4, 328.2, and 378.7 ms, for total speedups of 3.3×, 4.1×, and 3.2דsource-verified
C13纯异步:IDM 94.4→94.2;Fast-WAM 掉 15.4、LingBot-VA 掉 45.5 点comparison§6.2; Table 7”IDM loses 0.2 percentage points … Fast-WAM and LingBot-VA lose 15.4 and 45.5”source-verified
C14G1 传送带 3.0→7.5 cm/s:100/100/95/90%;Fast-WAM 75→0%,π0.5 15→0%;叠杯 19/20,基线 0 次成功;每条件 20 次comparison§6.1 Dynamic Tasks; Fig.7”Long-WAM stays at 90–100% (100%, 100%, 95%, and 90%)“source-verified
C15YAM 平均 >40 s 任务 80/80/85%,均值 81.7%number§6.1; Fig.8”Long-WAM succeeds in 80%, 80%, and 85% … (81.7% on average”source-verified
C16RoboCasa365:31.4→54.4(+GPT-6 Astra),Astra 单独 25.2,π0.5 16.9→30.5,Composite-Unseen 6.1→35.0;外部基线来自 leaderboard(Qwen-RobotManip 除外)comparison§6; Table 5; Appendix D”Composite-Unseen success from 6.1% to 35.0%; Overall improves from 31.4% to 54.4%“source-verified(已补 Qwen-RobotManip 例外)
C17context-scaling 中每个窗口单独训练,在各自训练长度下评测benchmark-setting§3.3”Each window uses a separately trained model evaluated at its training context length”source-verified
C18约 10,000 window-equivalent 小时,不是唯一原始素材时长;约 30,720 GPU-hours,64×H100numberAppendix B.1; §5.1”It is not a measurement of unique raw footage”source-verified
C19代码链接为 NVlabs/LongLive/tree/main/Long-WAM;论文许可 CC BY 4.0license-codearXiv HTML header”License: CC BY 4.0”source-verified
C20论文没有真机 context 长度 ablation,作者把它列为 next stepbenchmark-settingAppendix A(全文 grep 未发现此类 ablation)“real-robot context-length studies are a natural next step”source-verified(基于全文检索未发现)
C21RoboCasa365 用 Human300 训练、2.4 s context 的 checkpoint,加 planner 时不再训练 policybenchmark-setting§6”Human300-trained checkpoint with 2.4 seconds of visual context, then add GPT-6 Astra without further policy training”source-verified
C22CoD 比 IDM 快(V4/A4 下 90.9 vs 107.4 ms),作者说明该对比不能单独归因于执行顺序comparisonAppendix F; Table 11”does not isolate execution order as the sole source of the latency difference”source-verified

Strengths & Weaknesses

Strengths

  • 问题表述好:把”有没有 memory”换成”预训练目标是否教会模型用历史”,并给了一个干净的三组对照(bidirectional / 通用 AR / robot AR,同一 causal 适配)。bidirectional 曲线在 19.2 s 回到起点,而 AR 曲线持续上升,这是全文信息量最大的一张图——它说明 attention mask 层面的”可访问”不够,history-to-future 的预测结构需要在预训练阶段学到。
  • 每个窗口单独训练让 context 收益的读数相对干净(不混入 train/test 长度失配)。
  • 诚实的自陈:window-equivalent hours 的口径、训练/推理未来 latent 分布不一致、38.4 s 下降只是 hypothesis、CoD/IDM 延迟对比不能归因于执行顺序——这些都在附录里主动写明。
  • 异步执行不需要 RTC/blending 也能保住成功率(RoboTwin -0.2 点 vs Fast-WAM -15.4),overlap RMSE 约为 Fast-WAM 的 1/3;作者把它归因于连续的未来预测提供了 chunk 间一致的条件——这是机制推测,没有去掉未来预测的异步对照(w/o V 的异步结果未报告)。

Weaknesses / 隐含假设

  • 头条延迟与头条 context 收益不在同一个工作点:107.4 ms 对应 2.4 s 历史;拿到 78.7% 需要 19.2 s,延迟是 341.0 ms(3.2×)。摘要并列这两个数字容易让人以为”长 context + 实时”同时达成。真机实验用的 context 长度正文未明确报告,且作者自己把 real-robot context-length study 列为 next step——真机上长 context 是否有用目前没有证据。
  • benchmark 头条数字也不是长 context 的结果:LIBERO / RoboTwin 2.0 / DOMINO 主结果只用”最多 2.4 s”context(§5.2),长窗口只在 GR-1 上用。因此 “Long-WAM 在多个 benchmark 上最好”与”长 context 有用”是两条相互独立的证据,不能互相背书。
  • context-scaling 结论只建立在 GR-1 一个 benchmark 的长窗口扫描上(LIBERO-Long 在 2.4 s 已饱和至 99.5%);“AR 预训练才会用历史”是一个跨 benchmark 未复验的单点结论,且 GR-1 每个点的 trial 数与方差未在正文给出。
  • AR vs bidirectional 对比存在混杂:Wan2.2 与 LongLive-2.0 不只是预训练目标不同,模型规模、数据、训练长度(LongLive 训练到 16–30 s 长序列)都不同;“AR 目标本身”与”长序列视频训练经验”无法从这组对照中分离。
  • 论文内部有两处数字/标签不一致(Evidence Ledger C6、C7):Table 4 把 63.3% 一行标为 “Long-WAM (2.4 s)“,但摘要和 Figure 6(b) 显示 63.3% 对应 0.0 s、2.4 s 对应 66.3%,所以表格标签有误;§5.3 写 CoD 在 LIBERO-Long 上 97.8%,Table 1 为 95.8%。另外正文引用 GR-1 基线时写的是 “Table 6”,实际是 Table 4。这些都是小错,但 GR-1 上和基线比较时要以 Figure 6 为准。
  • RoboTwin / LIBERO 的领先幅度(0.3–1.0 点)在 benchmark 饱和区,不足以支撑”方法更强”;DOMINO 与真机动态任务的差距更有说服力,但真机基线(π0.5、Fast-WAM)是否在相同数据上微调、是否同样异步部署,正文交代有限。
  • RoboCasa365 层级实验的 “strong policy amplifies planning” 只比了两种 policy(Long-WAM 与 π0.5),且 planner 是闭源 GPT-6 Astra,还能发 bounded end-effector correction;“15 步高频查询即可到 84.4% Atomic” 也说明一部分收益来自重规划频率。

对领域的影响:给 WAM 社区一个可操作的论断——想让 world model 的历史有用,要在视频预训练阶段就学因果预测,而不是只改 attention mask。若在更多 benchmark 和真机上复现,这会影响”从 bidirectional video DiT 改 WAM”这条主流路线的选择。

Mind Map

mindmap
  root((Long-WAM))
    Problem
      WAM 的历史能否转化为控制收益
      长历史拖慢响应
      bidirectional 预训练 + 下游 causal 化
    Method
      LongLive2.0-Robot AR 视频预训练
        约 1 万 window-equivalent 小时
        teacher forcing + error recycling
      Causal-to-causal 适配
        IDM 先预测未来 latent 再去噪 action
        σ★=0.9 部分去噪 不解码像素
      每个 context 窗口单独训练
      部署基建
        纯异步执行
        Streaming VAE
        NVFP4 + KV reuse + online softmax
    Results
      GR-1 0→19.2s 63.3→78.7
      Bidirectional 无净收益
      LIBERO-Long 99.5 RoboTwin 94.4 DOMINO 34.9
      RTX5090 107.4ms at 2.4s 341ms at 19.2s
      G1 动态叠杯 19/20
      RoboCasa365 + planner 54.4

Notes

  • 与 vault 中相关工作的本质区别:
    • 2605-LongLive2:Long-WAM 的视频底座与 NVFP4/SP 基建都直接继承自 LongLive-2.0(同一团队);LongLive-2.0 是长视频生成基建,Long-WAM 把它的 AR 预训练变成控制先验,并加了 robot-domain 继续预训练与 action expert。
    • 2602-DreamZero:DreamZero 把 bidirectional 预训练的 video diffusion 改造成 causal WAM,因果结构在下游学;Long-WAM 的核心论点正是针对这条路线——同样的 causal 适配,bidirectional 初始化用不上长历史。
    • 2603-MEM / 2607-LaMemVLA:这两篇给 VLA 加显式 memory 模块(MEM 用 video encoder 短时 + 语言摘要长时;LaMem-VLA 用 latent memory token);Long-WAM 不加 memory 模块,只延长原始观测 prefix,把”会不会用历史”归因到视频预训练目标,并主张长时语义记忆交给上层 planner。
    • 2607-STWAM:ST-WAM 也用历史(近 4 帧 DINO feature 检索意图),关注视觉分布偏移下的鲁棒性;Long-WAM 关注历史长度的 scaling 与预训练目标,二者正交。
    • 2608-ZeroWAM:Zero-WAM 用 human video 做 in-context 任务规约(context 是外部示范),Long-WAM 的 context 是机器人自身交互历史。
    • 2606-AdaWAM:AdaWAM 关心何时触发视觉/文本推理以控制开销;Long-WAM 通过固定的 predict-then-act 加系统级加速控制开销,“按需分配 context”是其 Appendix A 提出的 future work,与 AdaWAM 的自适应思路可对接。
    • 2607-ABotM05:RoboTwin 2.0 的主要对手(94.1% vs 94.4%),差距在噪声量级。
  • 待追问:(1) AR vs bidirectional 的差距是否在模型规模/数据量对齐后仍成立?(2) 去掉未来视频预测(w/o V)在异步设置下是否也能保住成功率——这决定”连续预测带来 chunk 一致性”的因果解释是否成立。(3) 单模型 test-time 自适应 context(作者的 next step)能否在 74.6–341 ms 之间按任务取舍。
  • 文中引用的相关工作 RoboTTT(context scaling for robot policies)、WAM-TTT、Fast-WAM、LingBot-VA 2.0、AHA-WAM 在 vault 中暂无独立笔记,可作为后续候选。