Summary

把 video-generative World Action Model 这套此前只用于固定底座 tabletop manipulation 的配方搬到 whole-body mobile manipulation:pretrained video diffusion transformer 与轻量 action expert 做 layerwise joint attention,action expert 的每个 FFN 换成 shared / locomotion / manipulation 三专家软路由(Mobile MoE),并加一条训练期专用的 Chain-of-Foresight——RNN 式串行链,第 k 步去噪第 k 个未来 latent 并把 belief 传给第 k+1 步,梯度经四个 backbone tap 层反压主干。ManiSkill-HAB SetTable 七子任务平均 73.0%,真机 ARX Lift2 五任务全面超过同数据微调的 π0.5(55/35/25/20/15% 对 35/25/10/10/0%),推理时 CoF 与 video 分支全部丢弃,单周期 938 ms。

Problem & Motivation

作者开篇的问题设得不错:mobile manipulation 是不是”tabletop 加个底盘”或”navigation 拼 manipulation”?他们给的否定理由是三条乘性耦合——相机随底盘扫动(viewpoint)、底盘自由使得达成同一目标的 base–arm 路径极多(action 分布多峰)、早期导航误差会静默毁掉后续抓取(causality)。结论是 mobile manipulation 的长程性来自因果深度而非帧数。

由此推出的技术空白是:WAM 这条线(Motus、LingBot-VA、Fast-WAM、GigaWorld-Policy)靠互联网级视频预训练拿到动力学先验,但战果全部集中在固定底座;而 mobile manipulation 侧仍在用 dynamics-blind 编码器加手工协调——AC-DiT 要 3D 点云与两阶段训练,SG-VLA 要 privileged GT segmentation 的辅助 decoder,WEM 预设了 world/ego 流的分离。作者的立场是这些”手工工程出来的时空一致性”本该从视频预训练里继承。

这个 framing 有一处自相矛盾之处值得记下:论文声称是”first systematic adaptation of video-generation WAMs to whole-body mobile manipulation”,但它自己的 Related Work 就写了 ABot-M0.5 “explores WAMs with latent actions”,而后者正是 mobile manipulation 的 WAM(C19)。novelty 的实际边界是”不用 latent action 中间层、不用点云、不用特权监督、单阶段”,不是”第一个”。

Method

整体形态. 观测是 head + wrist 两路 RGB 拼成一张 384×640 复合帧,本体状态 18 维(目标位置、抓取指示、物体位姿、末端位姿,均在 base 坐标系),输出 13 维 whole-body action(7 关节 + 夹爪 + 头部 pan/tilt + 躯干升降 + 底盘线速度/角速度),chunk 长度 。训练时联合建模 ,部署只采 action 边缘分布。

World expert. 30 block、width 3072、FFN 14336、24 头 × dim 128 的 Wan 系 text-and-image-to-video diffusion transformer;causal 3D VAE(48 latent channel,空间 16×、时间 4× 压缩)与 T5 系文本编码器全程冻结。一个 latent tick 恰好覆盖一个 action chunk,视觉时钟与运动时钟对齐——这是让 joint attention 有意义的前提。当前帧以 timestep 0 的 clean latent 进入,后续帧带噪,于是 backbone 做的是”给定现在去噪未来”。

Action expert 与 Mobile MoE. 30 block、width 1024、FFN 4096、24 头 × dim 128(每头维度与主干一致,joint attention 可直接拼头)。每层 action token 与 backbone 视觉 token 进同一次 self-attention,mixture-of-transformers 式分离投影。每个 FFN 替换为 shared / locomotion / manipulation 三专家:三者初始都是原 dense 层的克隆,router 是零初始化的线性层,读 mean-pooled 含噪 action embedding,softmax 温度 1.0 出凸组合,无 load-balancing loss。零初始化保证”只有数据要求时才分化”。附录的路由分析显示主导专家权重通常只在 0.4–0.6,无专家塌缩(C27)——即分化是温和的,不是硬开关。

Chain-of-Foresight. 四个均匀分布的 backbone 层,把当前观测 token 的隐状态拼起来过两层 MLP 得初始 belief ;深度专属模块 (各自独立权重,从靠后的 backbone block 循环初始化,每个是三层 transformer block)沿未来 latent 串行展开,第 步吃 ,在 block-causal mask 下 cross-attend 到 ,输出速度估计与新 belief。belief 是步与步之间唯一的通道,逼它压缩演化中的世界状态。foresight 目标用更激进的 noise schedule shift(10 对主分支的 5),链上不加 stop-gradient。

注意力掩码. 当前 token 只互看;未来 video token 看所有视觉 token;action token 只看当前 token;没有任何 video token 看得到 action token。这条保证当前观测的表示在训练与部署完全一致,于是推理时 backbone 退化为 current-frame encoder:一次前向填满 per-layer KV cache,action 对着 cache 迭代去噪 20 步,未来帧一帧都不实例化。CoF 的梯度经 fusion MLP 流回四个 tap 层,再经 joint attention 影响 action token 读到的表示——它施加的是”把场景动力学编进当前观测表示”的压力,而不是给 action 提供额外输入。

损失. video 与 action 都用 flow matching,timestep 独立采样(shift-skewed),使任一分支可单独去噪。,深度衰减 。单阶段训练,AdamW,lr + cosine + 5% warmup,bf16,global batch 256,两个 expert 全参微调。

Key Results

ManiSkill-HAB SetTable(Table 1,成功率 %,三次评测均值±std)

子任务ACTDPDP3RDTAC-DiTAnchorVLAMobileWAM
Pick Apple28.021.30.012.033.322.746.0±0.8
Place Apple8.728.031.032.033.364.363.7±3.2
Open Fridge2.07.30.082.790.788.999.3±0.5
Pick Bowl28.020.720.010.736.044.546.0±2.6
Place Bowl13.069.332.018.717.363.864.7±1.2
Open Drawer0.00.00.044.081.391.0±0.8
Close Drawer85.755.068.0100.097.3100.0100.0±0.0
Mean23.628.821.642.955.664.073.0

七子任务领先五项、无一项崩到个位数,是这张表里唯一做到后者的方法;比 AC-DiT 高 17.4 个点(C1、C3)。可比性边界:AnchorVLA 的 64.0 只覆盖六个子任务(Open Drawer 未报告),论文正文承认了这点但均值仍按各自可得项算(C2)。按 Table 1 数字自行核算,两者在共有的六项上是 69.9 对 64.0,即 +5.9 而非表头看起来的 +9.0——被略去的 Open Drawer 恰是 MobileWAM 高于自身均值的一项(此为笔记推算,非原文陈述)。Table 1 也从未说明 baseline 数字是本文复跑还是抄自原论文(C24),全文除”≈6.5B”外无任何参数量,baseline 参数量一律缺失(C28)。

组件消融(Table 2,与主表同协议):WAM only 65.4 → +CoF 68.9(+3.5)→ +Mobile MoE 73.0(+4.1)(C5)。CoF 的增益集中在移动视角下的取放(Place Bowl +10.0、Pick Apple +5.0),但 Open Drawer 反而从 89.7 掉到 87.0(C6);MoE 的最大跳变在 Place Apple(+11.4),正是底盘重定位与精确释放交织的那一项。

CoF 的设计路径(Table 3,5,000 步缩减预算,故绝对值整体偏低,C7)——这组比主表更有信息量:

变体Mean S.R.
WAM only50.2
+ parallel foresight(并行监督多个未来 chunk,无链)52.3
+ MLP-style CoF(串行但用 MLP 递归)46.3
+ Transformer-style CoF58.2

三条读数:(1) 单纯”多喂未来监督”只值 +2.1,因为并行目标之间没有因果结构,模型可以各拟合各的;(2) 串行化本身不是免费的——用 MLP 做递归比不加任何 foresight 还差 3.9 个点,作者的解释是瓶颈过粗导致链上表示塌缩,被污染的 belief 再经梯度反噬共享主干;(3) 只有当 belief 的承载力足够(transformer)串行才转正到 58.2(C12)。第二条是这篇最值得带走的负结果。

belief 从哪来(Table 4):均匀取 4 层 58.2 最优,全 30 层拼接崩到 37.1,单区域取样(首 4 层 54.7 / 中 4 层 50.0 / 末 4 层 52.7 / 首尾两层 55.6)都不如均匀 4 层,均匀 12 层 50.8、均匀 20 层 42.7(C9)。作者读作 signal-to-interference 权衡:稀疏跨深度采样覆盖几何到语义的谱,而全层灌入既淹没物理信号又把 30 层的梯度全拖进一个辅助头。

链长(Table 5) = 1/2/3/4 → 55.7 / 54.6 / 58.2 / 56.3,四者极差 3.6 个点, 峰值(C10)。非单调且波动量级与消融噪声相当,” 恰好匹配子任务动力学可预测窗口”的解释缺乏独立证据。

MoE 对硬拆(Table 6):三专家软路由 58.2,把 action expert 硬拆成 locomotion / manipulation 两个等大专家后,双向注意 48.8、manip→loco 46.9、loco→manip 44.6(C11)。差距很大,支持”whole-body 各维不是可分离的流而是同一次运动的切面”。

推理开销(Table 7,NVIDIA A800):MobileWAM 938 ms,Motus 4950 ms,LingBot-VA 8126 ms,即 5.3× / 8.7×(C16)。

真机(Table 8,ARX Lift2,五任务按 horizon 递增):MobileWAM 55 / 35 / 25 / 20 / 15%,π0.5 用同一批数据微调后 35 / 25 / 10 / 10 / 0%(C13)。最长程的 (开抽屉→取物→放入→关抽屉)π0.5 全败而 MobileWAM 15%。证据边界:全文未报告每任务的评测 trial 数,也未报告采集了多少条遥操作示教(C14);评测 episode 的初始条件是”randomize within the training distribution”(Appendix C),而 abstract 用的措辞是 “with strong generalization”(C15)。部署侧 ≈6.5B 模型跑不动车载算力,实际跑在两张 A800 80GB 的远程服务器上、图像走 Wi-Fi 传输(C17)。

未量化的部分:全文没有任何视频预测质量指标(FVD / PSNR / SSIM / LPIPS 一个都没有),与”仅微调 Wan backbone”的未来预测对比只有 Figure 3 的视觉比对——透视一致性与形状保持是肉眼判读(C18)。CoF 声称推理零参数零 FLOPs 成立,但其训练期的显存与时间开销全文未测(C26)。

失败分析(§4.6):失败集中在取放,定位误差(抓/放位姿超出容差)约 40%、碰撞干扰约 25%、初次失败后无法恢复约 20%、完成后回不到 rest pose 约 10%、过早松手约 5%(C25)。主导模式聚在工作空间边缘的目标位姿处。

Evidence Ledger

Claim IDClaimTypeSource locatorEvidence excerptStatus
C1ManiSkill-HAB SetTable 七子任务均值 73.0%,表内最高;逐项 46.0/63.7/99.3/46.0/64.7/91.0/100.0numberTable 1”Mean 23.6 28.8 21.6 42.9 55.6 64.0 73.0”source-verified
C2Table 1 中 AnchorVLA 的 64.0 只覆盖七项中的六项(Open Drawer 记为 ”–”),均值口径不一致benchmark-settingTable 1 caption + §4.2”which evaluates only six of the seven subtasks”source-verified
C3比 AC-DiT(55.6)高 17.4 个均值点number+comparison§4.2 / Table 1”and +17.4 mean points over AC-DiT”source-verified
C4Table 1/2 的 ± 是三次评测 run 的 std(rollout 级),非独立训练 seed;单次评测的 episode 数全文未给benchmark-setting§4.1 Benchmark / Appendix B”over three independent evaluation runs”source-verified(“training seed” 全文未出现;episode 数缺失)
C5组件消融:WAM only 65.4 → +CoF 68.9(+3.5)→ +Mobile MoE 73.0(+4.1)numberTable 2 / §4.3”lifts the mean success rate from 65.4% to 68.9% (+3.5)“source-verified
C6同一消融中,加 CoF 使 Open Drawer 从 89.7±2.1 降到 87.0±1.0numberTable 2 Open Drawer 行”Open Drawer 89.7±2.1 87.0±1.0 91.0±0.8”source-verified
C7Table 3–6 用 5,000 步缩减预算,绝对数值因此偏低benchmark-setting§4.1 Training / Appendix A”Ablations (Tables 3–6) use a reduced 5,000-step budget … so their absolute numbers are lower”source-verified
C858.2 同时是 Table 3 ”+ Transformer-style CoF”、Table 4 “Uniform 4 layers”、Table 5 K=3、Table 6 “MoE (ours)” 的参照点;原文未说明该缩减预算参照配置是否含 Mobile MoEbenchmark-settingTables 3–6Table 3 “58.2”;Table 6 “MoE (ours) 58.2”source-verified(标签互相冲突:Table 3 的递增列暗示不含 MoE,Table 6 的命名暗示含 MoE;原文未澄清)
C9取层消融:全 30 层 37.1 / 均匀 20 层 42.7 / 均匀 12 层 50.8 / 均匀 4 层 58.2 / 首尾 55.6 / 末 4 层 52.7 / 中 4 层 50.0 / 首 4 层 54.7numberTable 4”All 30 layers 37.1 … Uniform 4 layers 58.2”source-verified
C10链长 K=1/2/3/4 → 55.7/54.6/58.2/56.3,原文称”极差 3.6 点内稳定”numberTable 5 / §4.3”remarkably stable (K=1 to 4 within 3.6 points), peaking at K=3”source-verified
C11MoE 58.2 对硬拆双向 48.8 / M→L 46.9 / L→M 44.6,原文称”同参数预算”number+comparisonTable 6 / §4.3”Soft MoE thus outperforms hard architectural splits under the same parameter budget”source-verified(“same parameter budget” 无参数量数字佐证)
C12foresight 结构消融:WAM only 50.2 / 并行 52.3 / MLP-CoF 46.3 / Transformer-CoF 58.2numberTable 3 Mean 行”Mean 50.2 52.3 46.3 58.2”source-verified
C13真机 Ta–Te:MobileWAM 55/35/25/20/15%,π0.5 35/25/10/10/0%number+comparisonTable 8”π0.5 35% 25% 10% 10% 0% / MobileWAM (ours) 55% 35% 25% 20% 15%“source-verified
C14全文未报告真机每任务评测 trial 数,也未报告遥操作示教条数benchmark-setting(缺失)§4.4 / Appendix C”we collect teleoperated demonstrations covering randomized object placements and robot start poses”source-verified(正文与附录均无该数字)
C15真机评测 episode 在训练分布内随机化初始条件,而 abstract 表述为 “with strong generalization”benchmark-settingAppendix C vs Abstract”Evaluation episodes randomize initial conditions within the training distribution”source-verified
C16单周期延迟:MobileWAM 938 ms、Motus 4950 ms、LingBot-VA 8126 ms(5.3× / 8.7×)numberTable 7 / §4.3”This yields 5.3× and 8.7× speedups over Motus and LingBot-VA”source-verified
C17≈6.5B 模型因车载算力不足而部署在远程双 A800 80GB,图像经 Wi-Fi 传输benchmark-settingAppendix C Platform”the on-board compute of ARX Lift2 is insufficient to run our ≈6.5B-parameter model in real time”source-verified
C18全文无任何视频预测质量量化指标(FVD/PSNR/SSIM/LPIPS);与”仅微调 Wan backbone”的未来预测对比仅为定性number(缺失)§4.5 / Fig. 3 / Appendix D”The contrast is stark. Our predictions respect the rules of spatial perception”source-verified(全文无上述指标字符串)
C19自称”据我们所知,首个把 video-generation WAM 系统性适配到 whole-body mobile manipulation”,而同文 Related Work 写 ABot-M0.5 已”explores WAMs with latent actions”sota-novelty§1 contributions + §2.2”ABot-M0.5 explores WAMs with latent actions (chen2026abot)“source-verified(两处陈述并存,原文未调和)
C20架构:world expert 30 block / width 3072 / FFN 14336 / 24 头 dim 128;3D VAE 48 channel、16× 空间 4× 时间压缩,与 T5 系编码器均冻结;action expert 30 block / width 1024 / FFN 4096;H=4、d_a=13、d_s=18benchmark-settingAppendix A Architecture / §3.1”30-block video diffusion transformer (hidden width 3072, feed-forward width 14336, 24 attention heads of dimension 128)“source-verified
C21每子任务 1,000 条过滤后示教 + 100 条验证,来自 benchmark 的 RL+filtering 生成管线;观测为 384×640 复合 RGB,无 depth、无点云、无特权状态benchmark-setting§4.1 Training / Appendix B”no depth, no point clouds, no privileged states”source-verified
C22单阶段训练,AdamW,lr 1e-5 + cosine + 5% warmup,bf16,global batch 256,两 expert 全参微调,VAE 与文本编码器冻结;λ_v=λ_a=1、λ_CoF=0.1、w=(0.4,0.2,0.1)、K=3;推理 20 步 flow matching,执行满 4 步 chunk 后重规划benchmark-setting§4.1 / Appendix A”λv=λa=1 and λ=0.1 … depth decay w=(0.4,0.2,0.1) and K=3”source-verified
C23代码与权重当前未发布,仅承诺录用后开源license-codeAbstract”Code will be released upon acceptance.”source-verified(arXiv abs 页元数据作 “Code will be released soon.”;权重从未提及,故 frontmatter code 留空)
C24Table 1 未说明 baseline 数字系本文复跑还是引自原论文benchmark-setting(缺失)Table 1 caption / §4.2”Baselines: ACT (zhao2023act); DP (chi2023diffusionpolicy); …“source-verified
C25失败构成:定位误差 ~40%、碰撞干扰 ~25%、失败后无恢复 ~20%、未回 rest pose ~10%、过早松手 ~5%number§4.6”localization errors … account for ∼40%; collision interference ∼25%“source-verified
C26CoF 与 video 分支推理时删除,零参数零 FLOPs;但 CoF 引入的训练期显存/耗时开销全文未测causal-mechanism + 缺失§3.5 / Abstract”The foresight module and fusion MLP are deleted at inference, adding zero parameters or FLOPs.”source-verified(训练开销无任何测量,唯一相关表述是修辞性的 “pays for itself at training time”)
C27MoE router 为零初始化线性层,读 mean-pooled 含噪 action embedding,softmax 温度 1.0,凸组合,无 balancing loss;路由分析显示主导专家权重通常 0.4–0.6,无专家塌缩benchmark-settingAppendix A Mobile MoE / Appendix E”dominant expert typically 0.4–0.6), with no expert collapsing to near-zero”source-verified
C28全文除自身 ≈6.5B 外不报告任何 baseline 参数量(π0.5、AnchorVLA、AC-DiT、Motus、LingBot-VA 均无),故各项对比无法确认参数对齐benchmark-setting(缺失)Tables 1/7/8 + Appendix C全文唯一参数量:“our ≈6.5B-parameter model”source-verified

Evidence boundary:C1–C28 由独立 verifier 逐条定位 primary source(含附录 A–E)核查,状态均为 source-verified——这只表示原文确实包含该信息,不表示结果已被独立复现。全文无独立训练 seed(C4 的 ± 是评测 run 级 std),故任何”更高”的措辞只指数值差,不含统计显著性。表中标注”缺失”者为否定性核查:verifier 在全文与附录检索后确认该项不存在,而非未能找到。

Strengths & Weaknesses

值得学的地方

  • Table 3 把设计过程当结果写,而且写出了负结果。 “并行监督 → 串行化 → 换更强的递归模块”三步复盘中,中间那步(MLP 递归 46.3,比完全不加 foresight 的 50.2 还低 3.9)是真正有信息量的:串行化不是免费的正收益,链上表示一旦塌缩,被污染的 belief 会经梯度反噬共享主干。这条对任何想给 backbone 挂辅助递归头的人都适用,比 73.0 这个主表数字有用得多。
  • “训练期消费、推理期删除”这条路线走通了。 不对称 mask 把 action 对 future token 的可见性彻底切断,于是当前观测的表示在训练与部署严格一致,backbone 退化为可缓存的 current-frame encoder。CoF 只通过梯度施加”把动力学编进当前表示”的压力,从不作为输入。938 ms 对 4950/8126 ms 的差距不是调优出来的,是架构约束的直接后果。
  • Mobile MoE 的对照选得干净。 直接对比”软路由三专家”与”按动作维度硬拆两专家”(58.2 对 44.6–48.8),而不是只对比”有 MoE / 无 MoE”。附录路由权重 0.4–0.6 无塌缩这条也诚实——它说明分化是温和的,收益不来自”两条独立通路”这种直觉叙事。

该打折扣的地方

  • 真机那组数字的证据密度太低。 五个任务的成功率全是 5% 的整数倍(55/35/25/20/15),高度提示每任务 20 次 trial,但论文自始至终没写 trial 数,也没写采集了多少条示教(C14)。20 次 trial 下 15% 与 0% 的差别是 3 次成功对 0 次,Wilson 区间大幅重叠;“优势随 horizon 增长”这个”central claim”目前建在这样的样本量上。这不是数字对不对的问题,是它根本不可核。
  • abstract 的 “strong generalization” 与附录的评测协议对不上。 附录明写评测 episode 在训练分布内随机化初始条件(C15)。在训练分布内随机初始位姿是标准 IL 评测,不是 generalization。这个词应该删掉。
  • SOTA 声明的口径与覆盖都可打折。 AnchorVLA 的均值只算六项,而被略去的 Open Drawer 恰好是 MobileWAM 高于自身均值的一项;在共有六项上重算是 69.9 对 64.0。更值得注意的是本文在 Related Work 引用了 SG-VLA 却没把它放进 Table 1——SG-VLA 在 ManiSkill-HAB 上报告的平均成功率同样是 0.73(见 2603-SGVLA,其子任务切分与本文不同:把 Pick/Place 各自聚合、且含本文没有的 Close Fridge,用 multi-view RGB+depth,每任务 30 episode,因此两个 73 不能直接相减)。但一篇声称在该 benchmark 上 SOTA 的论文,把唯一一个数字量级相当且被自己引用的工作排除在主表之外,读者至少有权知道为什么。
  • Table 3–6 的参照配置身份不明。 58.2 同时被 Table 3 标为”+ Transformer-style CoF”(递增列,暗示不含 MoE)和 Table 6 标为”MoE (ours)“(暗示含 MoE)(C8)。若含 MoE,那 Table 3 的 CoF 增益(50.2→58.2)就混入了 MoE 的贡献;若不含,Table 6 的 MoE 对照就没有 MoE。两种读法给出的归因完全不同,而论文没有澄清。
  • 参数量全表缺失。 除自身 ≈6.5B 外没有任何 baseline 的参数量(C28)。π0.5 与 6.5B 的 Wan 主干在真机上同数据微调,比的到底是”WAM 配方”还是”更大的视频预训练主干”,无法从原文区分。这与 2607-STWAM 是同一个毛病,看来是当前这批 WAM 论文的共同缺省。
  • 视频质量一个指标都没有。 §4.5 那组”我们的预测遵守近大远小、baseline 形变”的对比全靠肉眼(C18)。这里其实不该苛求 FVD——库内已有三条独立证据说明生成保真度不构成 world model 能力验收(2607-GigaWorld12607-PhiZero2608-WorldExam)——但本文用这张定性图去解释”为什么 CoF 有效”,就等于用未测量的中间变量做因果归因。真正能支撑机制的对照是 Table 3,不是 Figure 3。

对领域的影响判断:这是一次范式移植而非新机制,“first” 的说法被自己的 Related Work 削弱(C19)。CoF 本身是 Belief State Transformer / next-latent prediction 在 WAM 上的转写,Mobile MoE 是 ABot-M0.5 双分支解耦的软化版。会被后续引用的大概率不是 73.0,而是三条负结果:MLP 递归比不加 foresight 更差、全层拼接(37.1)远劣于稀疏跨深度取样(58.2)、按动作维度硬拆专家显著劣于软路由。三条都在说同一件事——给主干挂辅助监督时,接口的形状比监督量重要。

Mind Map

mindmap
  root((MobileWAM))
    Problem
      mobile manipulation 非 tabletop 加底盘
        viewpoint 随底盘扫动
        base-arm 路径多峰
        早期导航误差毁掉后续抓取
      WAM 战果集中于固定底座
      现有 mobile 方案依赖点云与特权监督
      first 声明被自身 Related Work 削弱
    Method
      Wan 系 video DiT + 轻量 action expert
        layerwise joint attention
        不对称 mask 使 action 看不到 future
      Mobile MoE
        shared / locomotion / manipulation
        零初始化 router 软路由 0.4-0.6
      Chain-of-Foresight
        四层均匀 tap 融合出 belief
        belief 是步间唯一通道
        仅经梯度作用 推理删除
      单阶段 flow matching
    Results
      ManiSkill-HAB 73.0
        AnchorVLA 64.0 仅六项
        共有六项重算 69.9 对 64.0
      消融 65.4 到 68.9 到 73.0
      MLP-CoF 46.3 低于不加 foresight 50.2
      全层拼接 37.1 远劣于均匀四层 58.2
      真机 55/35/25/20/15 对 pi0.5
        trial 数与示教数未报告
        评测在训练分布内
      延迟 938ms 对 4950/8126
      无任何视频质量指标

Notes

  • 最可迁移的一条是 Table 3 的中间步:并行未来监督 +2.1,MLP 串行 −3.9,transformer 串行 +8.0。这说明”更多未来监督”与”因果链式未来监督”是两回事,而后者的收益完全被递归模块的承载力 gate 住——瓶颈过窄时链上表示塌缩,再经梯度污染共享主干,结果比不加还差。配合 Table 4(全 30 层拼接 37.1 vs 均匀 4 层 58.2),两条指向同一个更一般的命题:辅助头与主干的接口形状(哪些层、多宽的瓶颈)比辅助信号的量级更决定成败。这与 2607-STWAM 的 Q3 负结果(无锚点历史检索 56.5 反而低于不用历史的 66.4)是同一现象的不同实例——都是”额外通道设计错了就是负收益”。
  • 2607-STWAM 的具体差别(后者是库内最近的邻居,同为 WAM + 额外未来预测通道):STWAM 换的是未来的表示空间(在 VAE latent 之外并行预测冻结 DINOv3 的语义未来),瞄准的失效模式是视觉分布偏移下预测未来漂回训练域,评测落点是零样本 LIBERO-Plus 与真机外观扰动;MobileWAM 换的是未来的时间结构(同一个 VAE latent 空间内串行链式预测多个未来 chunk,belief 逐步传递),瞄准的失效模式是长程因果深度,评测落点是 mobile manipulation 的多阶段任务。两者的额外分支都在推理时被切掉,都靠 attention mask 保证零开销——这个”训练期消费、推理期删除”的模板在两个月内被两组人独立采用,可以当成 WAM 分支设计的既定套路记下来。差别在于 STWAM 的两条 future 分支是并行的(跨空间互相细化),而 MobileWAM 的多个未来是串行的(belief 单通道传递);MobileWAM 的 Table 3 恰好给出了并行对串行的直接对照(52.3 对 58.2),这个对照 STWAM 没做。
  • WorldModel 的 “UI/GUI World Model” 路线不受本文影响——MobileWAM 完全在 robotics 侧,与 MobileDreamer / UISim 那条线没有交集(“Mobile” 指移动底盘不是移动端 UI,容易误归档,值得在归档时留意)。它影响的是 WorldModel 与 EmbodiedAI 的 WAM 分支:此前 2607-STWAM2607-N0TWAM 记录的 pattern 是”给 WAM 加新未来通道,收益未必来自预测那一半”,本文往同一处加了一条更细的刻度——收益不仅未必来自”预测”,还高度取决于预测目标之间是否有因果结构、以及承载因果的模块是否够宽
  • 2607-ABotM05 的关系需要盯:两篇都是 mobile manipulation 的 WAM,ABot-M0.5 走 video → frame-level latent action → executable action 的三级生成链 + Dual-level MoT(mobility/manipulation 双 FFN 分支),MobileWAM 走 video ↔ action 直接 joint attention + 三专家软路由,且用 Table 6 的硬拆对照间接反驳了 ABot-M0.5 那种双分支设计。但两篇不在同一 benchmark 上(ABot-M0.5 在 RoboCasa365,MobileWAM 在 ManiSkill-HAB),无法直接比较,这个分歧目前是悬空的。若要追,最小实验是在 ManiSkill-HAB 上把 latent action 中间层加回 MobileWAM。
  • 开放问题:CoF 的 belief 被声称”承载世界的物理状态前推”,但全文没有任何直接探测 belief 内容的实验(没有从 belief 解码状态、没有 belief 的表示分析)。支撑它的只有下游成功率与那张定性未来预测图。这与 2607-STWAM 的 entanglement 断言是同一类问题——机制叙事跑在测量前面。一个便宜的验证:从 线性探测物体位姿或底盘位移,看它是否随 增长仍保持可解码。