Summary

MINERVA 把 LIBERO 当成”40 个已知任务的记忆题”来设计 policy:从零训练的小 CNN + 40 项 task-ID embedding(无语言编码器、无预训练视觉)+ MLP-mixer 式 action-chunk head,再把总参数从 9.66M 一路缩到 0.09M,找出仍能解 LIBERO 的最小规模。0.54M 参数在四个标准 suite 上 2,000 rollouts 平均 95.05%(π0.5 LeRobot 参考值 97.50,非协议匹配),性能在约 1M 饱和、0.24M 起先从 Long suite 掉下去;三 seed 消融给出 ±1 点的训练 seed 噪声带,只有 action-chunk 长度和视觉容量分配越过它,flow matching 对 L1 regression 没有可测优势。置换 task ID 后成功率跌到近机会水平,LIBERO-Plus 扰动下掉到 46–56%、光照扰动近乎全灭,说明这 95% 测的是任务索引式的视觉运动记忆。

Problem & Motivation

LIBERO 已被数十亿参数的 VLA 刷到 95–98%,但这个 benchmark 本身到底需要多少模型容量从没被量过。作者从部署角度提问:任务集一旦固定,决定部署成本的是”仍能解这组任务的最小 policy”(任务集的 minimal sufficient capacity),知道这个下限就可以直接训练或蒸馏到它并跑在边缘 CPU 上。动机还来自 LIBERO-PRO 的结论:标准 LIBERO 在训练场景、训练任务、训练指令上评测,指令的作用主要是从 40 个记住的任务里选一个。既然如此,语言通路可以换成 40-way task ID,全部参数预算花在视觉状态估计和闭环动作生成上。作者把 empirical capacity floor 定义为”在固定训练与评测协议下、本 policy family 中仍保持目标成功率的最小被测模型”——它是该 recipe 下的上界估计,不是任务的本征下限。

Method

感知。agent-view 与 wrist 两路 256² 图像缩到 144²(训练随机裁 128²,评测中心裁)后共用一个从零训练的 CNN(加 view embedding):四级 stride-2 的 depthwise-separable 残差块,每级用 FiLM 注入 task embedding,接 spatial-softmax keypoint 提取再线性投影;8 维本体状态过两层 MLP。两帧观测(n_obs=2)的视觉特征、状态特征与 task embedding 拼成条件向量 c。7M 规模下从 1 帧到 2 帧,Goal +6、Long +4。

动作头。H=16 的 action chunk 用 conditional flow matching 生成(τ 从偏向高噪声的 Beta 分布采样,推理 10 步 Euler)。head 是 4 层 DiT;在 sub-1M 模型(0.5M / 1M)中,对 16 个 action token 的 self-attention 换成 token-mixing MLP,AdaLN-Zero 调制 MLP 在各 block 间共享。5M 恢复 self-attention,10M 再取消 AdaLN 共享(见下段),所以”MLP mixer + 共享 AdaLN”只描述 sub-1M 的配置。同一 head 也可训练成 learned query → chunk 的一次前向 L1 regression,作者最终发布的就是这个版本。另有训练时专用的 episode progress 辅助头(<9k 参数,推理时丢弃)。

模型族与蒸馏。0.5M(0.54M,CNN 宽度 32/64/112/160,48 keypoints,head 宽 96)与 1M(0.99M,40/80/160/224,64 keypoints,head 宽 128)只差宽度;5M(4.89M)恢复全宽 CNN 与 head self-attention;10M(9.66M)再取消 AdaLN 共享。小模型用更大 teacher 做 velocity distillation(L = L_fm + λ‖v_θ − v_φ‖²,λ=1),teacher 参数不计入。sub-1M 模型对 Long suite episode 损失加权 3×。

推理。每个控制步都重新规划,并用 ACT 式 temporal ensembling 对覆盖同一时刻的所有 chunk 预测做指数加权平均(每步衰减 0.01);sub-1M 模型初始噪声乘 σ=0.85(mode-seeking)。

训练与评测。lerobot/libero 数据集 1,693 条示教、273k 帧、40 任务混训;90–120k steps,batch 128,AdamW lr 1e-4 cosine;单张 GH200 或 RTX 5080 约 2 小时。评测默认每任务 50 episodes × 40 任务 = 2,000 rollouts,固定评测 seed;消融筛选用 25 episodes/task,结论在 50 下复核。

Key Results

主表(Table I,均为单 seed 1000、2,000 rollouts):

policyparamsSpatialObjectGoalLongavg
MINERVA-0.5M0.54M94.499.696.489.895.05
+ L1 head(发布版)0.54M96.899.697.489.295.75
MINERVA-1M0.99M97.099.897.492.896.75
MINERVA-5M4.89M99.099.298.092.497.15
MINERVA-10M9.66M98.499.098.494.097.45
π0.5(LeRobot 报告值,400 rollouts)4.1B97.099.098.096.097.50

Scaling(§V-B,Figure 3)。1M→10M 平均只涨 0.7 点;0.24M 为 88.6%(Spatial 95.2 / Long 73.0),0.09M 为 68.3%。崩塌先从 Long suite 开始,短程 suite 在小得多的模型上仍存活。其余扫描点的逐 suite 数字只在 Figure 3 中(正文无数字)。

Seed 噪声带与消融(Table II,1M 规模,每格 2,000 rollouts)。baseline(chunk 16 + flow matching)三 seed 95.63±1.08,范围 94.60–96.75,Long 单项 87.6–92.8。三 seed 复训的配置里:chunk 8 为 92.47(−3.16,Goal 掉到 86–89)、chunk 32 为 93.43(−2.20,Long 掉到 80–82);把视觉从 0.49M 压到 0.13M(总量不变)为 94.22±0.20(−1.41,Long −4.6);flow → L1 为 95.97±0.80(+0.34)。单 seed 时 L1 是 −1.70、视觉饥饿是 −2.50,三 seed 后前者反号、后者减半。单次运行的 conditioning 方式(concat −0.40、FiLM −0.10)、去掉蒸馏(+0.10)、恢复 self-attention(+0.05,参数 +26%)都在噪声带内。

容量分配(§V-D)。固定约 1M 总量的六点扫描中,vision 占 50–80% 的配置都落在 96.3–96.8(单次);开发期把参数从 attention head 挪进 CNN,Long 从 80.8 到 91.0。

推理策略(§V-E,0.54M 同一 checkpoint,25 episodes/task 筛选)。每次 replan 只执行 1–2 步明显优于 4 步、4 步优于 8 步;horizon 1 时 temporal ensembling 96.3 > BID 95.0 > plain chunking 94.1 > RTC 91.8。噪声温度 0.85 对每个 sub-1M 模型加 0.2–2.25 点,1M 及以上无效。

延迟(Table III,RTX 5080 Laptop GPU / 8 CPU 线程,batch 1,每 chunk):0.54M flow 8.2 / 8.9 ms,L1 2.2 / 5.1 ms;1M 8.5 / 10.0;10M 11.1 / 17.8;SmolVLA 118 / 1,010;π0.5 196 / 12,781 ms、9.36 GB VRAM。论文的”113× / 1,400ד按 CPU 列算出,GPU 列上约为 14× / 24×。

置换探针(§V-G,已发布 1M checkpoint,只改 task-ID 映射)。suite 内轮换 ID:96.75 → 6.5%;全部强制为 task-0 ID:16.2%,其中 Spatial / Goal / Long 为 10.0 / 10.0 / 8.8(恰为 1/10 预测),Object 残留 22–36%,视觉差异大的场景能部分纠正错误 ID。

LIBERO-90(§V-H)。0.995M、无蒸馏,89 个有示教的任务平均 94.6%;90 个任务只有 74 条不同指令,共享 ID 的任务 93.6 vs 独占 ID 95.1;最差任务 50–60%。单 seed、10 episodes/task。

LIBERO-Plus(Table IV,分层抽样、每 variant 2 episodes,三个模型用同一批 variant):

factor0.54M0.99M4.89M
language(≈ 无扰动基线)96.796.799.2
new objects69.762.195.5
sensor noise68.560.073.8
robot init57.160.363.5
object layout50.051.858.9
camera11.518.534.6
background9.34.77.0
light1.12.26.5
average46.746.055.7

1M 以下鲁棒性不随容量变;5M 多出的约 10 点几乎全来自 new objects 这类语义/几何因素;光照在所有规模都 ≤6.5%。

作者自述局限(§VI)。task-ID embedding 无法处理没训练过的任务;只有五个关键消融配置做了三 seed,headline 模型、LIBERO-90、其余扫描点和蒸馏对比都是单次;全部结果来自一个模拟器、一个评测 seed;没有真机验证。

Evidence Ledger

Claim IDClaimTypeSource locatorEvidence excerptStatus
C1Table I 单 seed:0.54M 95.05(94.4/99.6/96.4/89.8);+L1 95.75;1M 96.75;5M 97.15;10M 97.45numberTable I”MINERVA-0.5M | 0.54M | 94.4 | 99.6 | 96.4 | 89.8 | 95.05”source-verified
C2π0.5 LeRobot 参考值 97.50,10 episodes/task、400 rollouts,非协议匹配benchmark-settingTable I caption;§V-A”measured at 10 episodes/task — a reference point rather than a protocol-matched comparison”source-verified
C30.54M 比 π0.5 低 2.4 点、参数少 7,700×;0.99M 差 0.75;差距主要在 Long(92.8 vs 96.0)comparisonAbstract;§V-A”The remaining gap is almost entirely the long-horizon suite (92.8 vs. 96.0 at 1M)“source-verified
C41M→10M +0.7;0.24M 88.6(Spatial 95.2、Long 73.0);0.09M 68.3number§V-B;Figure 3”88.6% at 0.24M, 68.3% at 0.09M … still solves 95.2% of Spatial but only 73.0% of Long”source-verified
C51M baseline 三 seed 95.63±1.08,范围 94.60–96.75,Long 87.6–92.8;Table I 的 1M 行是 seed 1000numberTable II;§V-C;§V-A”the baseline spans 94.60–96.75; its long-suite score alone spans 87.6–92.8”source-verified
C6三 seed:chunk 8 −3.16、chunk 32 −2.20、vision 0.13M −1.41(Long −4.6)、L1 +0.34numberTable II top;§V-C”flow matching \to L1 regression | 95.97\pm 0.80 | +0.34”source-verified
C7chunk 8 使 Goal 掉到 86–89、chunk 32 使 Long 掉到 80–82,另一 suite 不变comparison§V-C”Chunk 8 breaks the goal suite (86–89% vs. 96.6–97.4% at chunk 16) while leaving the long suite intact”source-verified
C8flow vs L1 单 seed −1.70 三 seed 反转 +0.34;vision 饥饿单 seed −2.50 三 seed −1.41comparison§V-C”The single-seed comparison had regression -1.70 worse; over three seeds this reverses to +0.34”source-verified
C9单次消融:concat −0.40、FiLM −0.10、no distillation +0.10、self-attn +0.05(+26% 参数)numberTable II bottom”no distillation | | +0.10 … mixer \to DiT self-attn. head ( +26% params) | | +0.05”source-verified
C10蒸馏在 5M 单次 +1.85,4.89M 学生超过 7.12M teacher;1M 处在 seed band 内comparison§III-B”+1.85 average over the same architecture trained alone; the distilled 4.89M model even beats its own 7.12M teacher”source-verified
C11≈1M 预算六点分配扫描,vision 50–80% 均在 96.3–96.8;开发期 Long 80.8→91.0number§V-D”every allocation giving vision 50–80% of the budget lands in a flat 96.3–96.8 band”source-verified
C12horizon 1:temporal ensembling 96.3 > BID 95.0 > plain 94.1 > RTC 91.8(25 episodes/task)comparison§V-E”temporal ensembling, 96.3% … BID-style candidate selection (95.0%) … plain chunking (94.1%); RTC-style soft inpainting hurts (91.8%)“source-verified
C13噪声温度 0.85 对 sub-1M 模型 +0.2 到 +2.25,1M 及以上无收益number§V-E”initial-noise temperature 0.85 adds +0.2 to +2.25 points on every sub-1M model … nothing at 1M and above”source-verified
C14延迟:0.54M 8.2/8.9 ms,L1 2.2/5.1;SmolVLA 118/1,010;π0.5 196/12,781、9.36 GB;快 113× 与 1,400×numberTable III;§V-F”the 0.54M model is 113 \times faster than SmolVLA and 1,400 \times faster than \pi_{0.5}“source-verified
C15regression 在 GPU 上最多快 3.8×numberAbstract;§V-C”direct regression is up to 3.8 \times faster”source-verified
C16置换探针:轮换 ID 96.75→6.5;强制 task-0 16.2,Spatial/Goal/Long 10.0/10.0/8.8,Object 22–36number§V-G”collapses the average success rate from 96.75% to 6.5% . Forcing every task to its suite’s task-0 ID yields 16.2%“source-verified
C17LIBERO-90:0.995M、无蒸馏 94.6%(89 任务);74 条不同指令;共享 93.6 vs 独占 95.1;单 seed、10 episodes/tasknumber§V-H”94.6% average over 89 tasks at 0.995M parameters”; “Caveats: single seed, 10 episodes/task”source-verified
C18LIBERO-Plus 平均 46.7/46.0/55.7;light 1.1/2.2/6.5;camera 11.5/18.5/34.6;new objects 69.7/62.1/95.5numberTable IV;§V-I”the 0.54M, 0.99M and 4.89M models fall to 46.7%, 46.0% and 55.7%“source-verified
C19训练数据 1,693 示教 / 273k 帧;90–120k steps、batch 128;单 GPU 约 2 h;sub-1M Long 损失 3×benchmark-setting§IV Data and training”one model trains in \approx 2 h on a single GH200 or consumer RTX 5080 GPU”source-verified
C202,000 rollouts 固定 seed;仅五个关键消融三 seed,其余单次;一个模拟器一个评测 seed;无真机benchmark-setting§IV;§VI Limitations”everything rests on one simulator and one evaluation seed”source-verified
C21从零 CNN + FiLM + spatial-softmax,40 项 task-ID embedding 代替语言,H=16,MLP mixer 替代 self-attention;7M 时 2 帧观测 Goal +6、Long +4causal-mechanism§III-B”at 7M parameters, moving from one to two observation steps gains +6 points on Goal and +4 on Long”source-verified
C22代码、配方与全部 checkpoint 开源(github.com/k1000dai/MINERVA);论文 CC BY 4.0license-codeAbstract;arXiv 页头”Code, recipes and all checkpoints are open sourced here”source-verified

Strengths & Weaknesses

亮点

  • 问题本身选得好。不是再做一个更便宜的 VLA,而是用一个刻意”什么都不会”的 policy 量 benchmark 的需求。0.54M、无语言、无预训练就能到 95%,这个数字对任何拿 LIBERO 97–98% 做卖点的工作都是一条直接的校准线:标准 LIBERO 上 97% 以上的差异很难归因到大模型独有的能力。
  • 把训练 seed 噪声带量出来了。1M baseline 三 seed 跨度 2.15 点(94.60–96.75),Long 单项跨度 5.2 点。同一套实验里,单 seed 时”flow 比 L1 好 1.70”三 seed 后反号,“视觉饥饿 −2.50”减半到 −1.41——这是单 seed 消融在 LIBERO 上会误导的现场例证,比一般性的”应报多 seed”有说服力得多。
  • chunk 长度的失败是可解释的双向结构:太短伤 Goal(同场景多目标,需要提交到一个分支),太长伤 Long(多阶段任务需要在子目标边界反应)。这与 OpenVLA-OFT 观察到的 L1 ≈ diffusion 一起,进一步削弱了”生成式动作头在 LIBERO 上必需”的默认假设。
  • 置换探针是干净的因果干预:权重不动、只改 ID 映射,Spatial/Goal/Long 精确落到 1/10,Object 的残留又说明视觉能部分补偿错误的条件信号。LIBERO-Plus 审计主动给出 headline 不包含的部分,作者没有回避 46% 这个难看的数字。
  • 全部 checkpoint 和配方开源,2 小时单卡训练,复现门槛极低。

局限与隐含假设

  • headline 的 1M 行取的是三 seed 中最高的那个。Table I 的 1M(96.75,seed 1000)正好是 Table II 三 seed 范围 94.60–96.75 的上端;三 seed 均值 95.63,对 π0.5 的差距是约 1.9 点(97.50 − 95.63)而不是 0.75。scaling 叙述也受影响:以三 seed 均值为起点,1M→10M 约 +1.8 点(95.63→97.45)而不是 +0.7;10M 本身也只跑了一个 seed,“约 1M 饱和”的判断需要打这个折扣。置换探针的”96.75→6.5%“同样以最好 seed 的 checkpoint 为基准。作者在 §V-A 写明”rows are single runs”,但摘要和讨论里的”0.75–2.4 points”没有这层说明。0.54M 的 95.05 / 95.75 同样是单次。
  • 对 π0.5 的比较协议不匹配:π0.5 是 LeRobot 报告值,10 episodes/task 共 400 rollouts;MINERVA 是 2,000 rollouts。作者自己承认是参考点。此外表中没有 OpenVLA-OFT(97.1)和 TurboVLA(97.7)——它们只出现在 Figure 1 和相关工作里,与 MINERVA-10M 的 97.45 同样在噪声带内。
  • “capacity floor” 依赖 recipe。0.54M 模型是用更大 teacher 蒸馏、Long 损失 3× 加权、噪声温度 0.85、temporal ensembling 共同堆出来的,teacher 参数不计入。它是”该 recipe 下最小被测模型”的上界(作者定义里写了),也不等于 0.54M 规模的模型从零训练就能到 95%。门槛设在 95% 也是人为选择:0.24M 仍有 88.6%,摘要说”collapses below a quarter million”略重,真正的崩塌在 0.09M(68.3%)。
  • “instruction conditioning 主要在记忆任务间选择”是对 benchmark 充分性的论证,不是对 VLA 行为的测量。置换探针只证明了 MINERVA 自己用 task ID 选任务;而且引言写的”collapses success … to chance level”说过头了——轮换 ID 得 6.5%,但强制 task-0 ID 时是 16.2%,Object suite 残留 22–36%,视觉在一部分场景里能压过错误 ID。大 VLA 是否也这样用语言,本文没有测(这一点要靠 LIBERO-PRO 一类工作)。
  • LIBERO-Plus 没有同协议的 VLA 对照。抽样方式(分层抽样、每 variant 2 episodes)与 LIBERO-Plus 全量 10,030 × 1 不同,抽样总数在正文中未给出。2609-LatentInterfaceTraining 在全量协议下报的 π0.5(其自训 baseline)Lighting 82.40、Camera 58.29、Overall 68.97,对照 MINERVA 的 1–6.5% 光照说明从零训练的小 CNN 在光照上远差于预训练视觉——但两边协议和 checkpoint 都不同,只能作方向性参考。
  • 发布版(L1 head)的鲁棒性和置换行为没测。置换探针用的是 1M flow 版(96.75),LIBERO-Plus 用的是 0.54M flow 版(标准成绩 95.05)。
  • 推理策略比较落在噪声带里。TE 96.3 vs BID 95.0 是同一 checkpoint、25 episodes/task 的单次筛选,差 1.3 点;噪声温度的 +0.2~+2.25 也是单次。这些排序可信度低于 Table II 顶部的三 seed 结论。
  • 内部数字小出入:4.1B / 0.54M ≈ 7,600×(文中 7,700×);8.2 / 2.2 ≈ 3.7×(文中”up to 3.8×”);“113× / 1,400ד只按 CPU 列算(1,010 / 8.9、12,781 / 8.9),GPU 列上只有约 14×(118 / 8.2)与 24×(196 / 8.2);§V-F 只写”on identical hardware”,只有摘要注明是 laptop CPU。另外摘要”113× faster than SmolVLA”用的是 flow 版 8.9 ms,而同句的”5–9 ms”包括 L1 版(5.1 ms 对应约 198×)。都不改变结论。
  • 单一模拟器、单一评测 seed、无真机;对 photometric 失败给的”光度增强可能修复”是推测,未做实验。

对领域的意义。这篇的价值主要在测量而不是 MINERVA 这个模型:给 LIBERO 标准分一个 0.5M 参数的记忆基线,并示范了 seed band 应该怎么用来读消融。之后在 LIBERO 上报告 1 点以内增益、或拿”轻量 VLA 达到 97%“做主张的工作,都应该对照这条线。

Mind Map

mindmap
  root((MINERVA))
    Problem
      LIBERO 到底需要多少容量
      部署成本由任务集最小充分容量决定
      标准 LIBERO 近似记忆测试
    Method
      从零 CNN + FiLM + spatial-softmax
      40 项 task-ID embedding 代替语言
      MLP-mixer action-chunk head,flow 或 L1
      teacher 蒸馏 + temporal ensembling + 噪声温度 0.85
    Results
      0.54M 平均 95.05,1M 96.75 单 seed
      1M 饱和,0.24M 起 Long 先掉
      seed 噪声带 ±1,只剩 chunk 长度与视觉分配
      flow 对 L1 无可测优势,CPU 5–9 ms
      置换 ID 跌到 6.5%
      LIBERO-Plus 46–56%,光照 ≤6.5%

Notes

  • 2502-OpenVLA-OFT:同结论的另一端——OFT 在 7B OpenVLA 上发现 L1 regression 与 diffusion 在 LIBERO 几乎打平(95.3 vs 95.4),MINERVA 在 1M 规模三 seed 下得到同一结论(+0.34,噪声带内)。两端规模都没看到生成式头的优势,LIBERO 的动作分布可能本来就接近单峰。
  • 2607-TurboVLA:同为”把 LLM 移出控制通路”的思路,TurboVLA 0.2B 保留 BERT 语言编码与 DINOv3 视觉达到 97.7%;MINERVA 连语言和预训练视觉都去掉,参数低约 370 倍,平均分差 2.0–2.7 点(MINERVA 0.54M 单 seed 95.05–95.75 对 97.7)。二者之间的差距大致就是”预训练表征 + 语言”在标准 LIBERO 上的价值上界。
  • 2506-SmolVLA 与 2504-Pi05:Table III 的延迟对照对象;π0.5 的 LIBERO 参考值来自 LeRobot 实现而非 PI 原报告。
  • 2609-LatentInterfaceTraining:同用 LIBERO-Plus 读”视觉捷径”,LIT 认为 VLA 的视觉 OOD 崩塌来自 action expert 直接吃 visual token 的 shortcut;MINERVA 的光照几乎全灭提供了一个更极端的端点(从零 CNN、完全没有预训练视觉)。
  • 待核:Figure 3 其余扫描点的逐 suite 数字;LIBERO-Plus 分层抽样的总 variant 数;发布版 L1 head 在 LIBERO-Plus 上的表现。