Summary

EvoBelief 把 self-evolution 的对象从”agent 怎么做”换成”agent 相信环境怎么运作”:在冻结 LLM 外挂一个 world model W,其中每条知识是可证伪假设 (C ∧ A ⇒ Y),只有经过跨 episode / 跨 binding / 独立测试的证据才获得”权限”指导预测与规划,反例会收窄或撤销规则。在 ALFWorld、ScienceWorld、MiniGrid(隐藏 drift)、DiscoveryWorld(科学发现)上均优于 ReAct / WorldEvolver / Frozen WM。但假设提取、验证、规划均由各 benchmark 的 code adapter 完成,LLM 主要只做 actor 与 anchor predictor,通用性证据有限。

Problem & Motivation

现有 self-evolving agent(Reflexion、ExpeL、Voyager、skill 库等)主要改进 how to act,但 agent 的失败也可能源于对环境动力学的先验信念错误或过时(例:先验认为化合物 X 在 120 °C 内稳定,实际 100 °C 分解)。任务级纠正(“用更低温度”)不能沉淀成跨任务可复用的环境属性。已有 world-model agent(WALL-E、ITP-I、WorldEvolver)尚未系统解决三件事:规则在被信任前的 validation、环境变化后的 maintenance(修订/收窄/退役)、以及对不同任务的 application。

Method

  • 两时间尺度状态 b_t = (z_t, W_t):z_t 是 episode-local 情境估计(每个 episode 重置),W_t 是跨 episode 持久的环境动力学信念,从空集开始。
  • 假设形式 H := (C ∧ A ⇒ Y),附带 scope、测试配方、证据记录;用抽象 role 做 binding,更广的 scope 只能靠多种 binding 的证据获得。
  • 触发:grounded prediction mismatch(预测与真实观测不符)或 decision-critical unknown(其答案会改变下一步决策)。允许保留 rival hypotheses。
  • 证据:被动证据(普通任务转移恰好测试已有假设)与主动证据(专为区分 rival 而跑的 live experiment,占用任务交互预算)。实验仅在”结果能改变决策、无已验证规则可回答、可执行、至少两种结果导致不同后续动作”时被准入;支持/证伪判据在执行前固定;结果判为 supported / counterexampled / inconclusive。
  • Authority / commit:N_ep ≥ τ_ep ∧ N_bind ≥ τ_bind ∧ N_test ≥ τ_test 才 commit(Eq. 3);阈值在评测前预设、不在 benchmark 上调。附录:至少 2 个 binding、2 个 episode,且其中一次独立于该假设影响过的决策;同一实验设计的多个读数只算 1 次独立测试;DiscoveryWorld 单长 episode 用一次事先冻结预测的 held-out test。
  • 维护:反例先收窄 scope 并重算 commit 条件,不满足则 demote(保留证据,可恢复),无支持证据时才 retire;evidence ledger append-only,所有状态转换可追溯。
  • 使用:actor 先在不看 W 的情况下生成候选动作,frozen predictor 给 anchor 预测;仅”条件成立且 binding 在 scope 内”的已验证规则可改写预测/否决动作/串成短计划,否则回退到 W-blind 选择。靠规则取得的成功不计为该规则的新独立支持。
  • 实现事实(读时关键):ALFWorld / MiniGrid / ScienceWorld 上规则由 typed transitions 经 code induction 得到,规则后果由结构化表示直接计算,无 rule-conditioned 模型调用;DiscoveryWorld 上定量/类别规律由代码拟合;actor 从不看到规则文本(App. C)。即生命周期与 authority 检查由 benchmark adapter 在 actor 外实现,而非 prompt。

Key Results

  • ALFWorld(134 个 unseen 任务,无 transition memory):Haiku 4.5 上 EvoBelief 66.42 vs Frozen WM 42.54(+23.9)、ReAct 33.58、WorldEvolver 35.07、ITP-I 29.85;GPT-5.4 上 76.12 vs Frozen WM 44.78(+31.3)、WorldEvolver 61.94。有 memory 时差距缩小:Haiku 68.66 vs WorldEvolver 58.96 / Frozen WM 57.46;GPT-5.4 76.87 vs 72.39 / 55.22。
  • ScienceWorld(90 任务):无 memory 时 Haiku 64.44(ReAct 55.56,Frozen WM 46.67)、GPT-5.4 71.11(WorldEvolver 65.56)。注意 Haiku 下 ReAct (55.56) 高于 WorldEvolver (52.22) 与 Frozen WM;ITP-I 在全部设置低于 ReAct。ScienceWorld 上多数直接行为干预来自 live experiment,已验证规则指导的决策较少。
  • 跨任务复用:ALFWorld 上 >80% 在已验证规则下做的决策落在规则被验证时所在任务家族之外(Table 8)。
  • MiniGrid 隐藏 drift(door 对应的 key 在 episode 20 后静默切换,Haiku 无 memory):MG-C pre/post-drift 61.67/95.00,Frozen WM 0/0,WorldEvolver 0/0;MG-M 78.33/81.67 vs Frozen WM 1.67/0、WorldEvolver 6.67/16.67;对照 MG-R 83.33/78.33 vs Frozen WM 48.33/50.00。三个 held-out seed 上 69.6% vs Frozen WM 1.3%;颜色/房间名置换后 80.8% vs 7.1%。消融:无主动实验或无学习规则都退回先验水平;规则放 shadow(跑实验但不执行计划)也降低成功率,MG-C 最甚。
  • DiscoveryWorld(GPT-5.4,每 task family×tier 12 个新实例):Reactor Lab Completion Normal 83.33 / Challenge 58.33,ReAct、WorldEvolver、Hypothesizer 均 0;Plant Nutrients Normal 75.00 vs Hypothesizer 50.00,Challenge 83.33 vs 75.00(WorldEvolver / Hypothesizer)。Plant Nutrients 的完成率差对最强 baseline 的 CI 含 0,仅 knowledge 差 CI 排除 0。
  • Held-out 转移预测(每 benchmark 1,500 条,Haiku):EvoBelief 在 State-ΔF1 / EM / token F1 领先,ScienceWorld 上 WorldEvolver 的 feasibility 准确率更高。

Evidence Ledger

Claim IDClaimTypeSource locatorEvidence excerptStatus
C1ALFWorld 无 actor-side memory 时 EvoBelief 相对 Frozen WM 在 Haiku 4.5 和 GPT-5.4 上分别提升 23.9% 和 31.3%(成功率绝对百分点)numberAbstract; Table 1”improves success over the matched Frozen World Model by 23.9% and 31.3% with Claude Haiku 4.5 and GPT-5.4, respectively”source-verified
C2ALFWorld 无 memory 下 Haiku 4.5 成功率:EvoBelief 66.42,ReAct 33.58,WorldEvolver 35.07,ITP-I 29.85,Frozen WM 42.54numberTable 1”No memory ReAct 33.58 … Frozen WM 42.54 EvoBelief 66.42” (flattened table; locate by row order)source-verified
C3ALFWorld 无 memory 下 GPT-5.4:EvoBelief 76.12,WorldEvolver 61.94,Frozen WM 44.78,ReAct 46.27numberTable 1”ReAct 33.58 46.27 … WorldEvolver 35.07 61.94 … Frozen WM 42.54 44.78 EvoBelief 66.42 76.12” (flattened)source-verified
C4有 transition memory 时 ALFWorld 上 EvoBelief 对 WorldEvolver 的优势缩小(Haiku 68.66 vs 58.96;GPT-5.4 76.87 vs 72.39)comparisonTable 1; §4.2”margin over Frozen WM is largest without transition memory for both backbones and remains positive with it”source-verified
C5ScienceWorld 无 memory:Haiku 4.5 EvoBelief 64.44、ReAct 55.56;GPT-5.4 EvoBelief 71.11、WorldEvolver 65.56numberTable 1”EvoBelief has the highest task success rate in every setting shown”source-verified
C6ITP-I 在 Table 1 全部八个设置下均低于同设置的 ReActcomparisonTable 1”ITP-I ( Liu et al., 2026 ) 29.85 39.55 42.22 36.67” (flattened)source-verified
C7ALFWorld 上超过 80% 的已验证规则下的决策发生在规则被验证时所在家族之外number§4.2; Table 8”over 80% of the decisions under a validated rule fall in a family other than the one where the rule was validated”source-verified
C8ScienceWorld 上多数直接行为干预来自 live experiment 而非已验证规则causal-mechanism§4.2; §4.5; Table 6”Live experiments account for most direct behavioral intervention, while validated rules guide a smaller number of later decisions.”source-verified
C9MiniGrid MG-C Haiku:EvoBelief pre/post-drift 61.67/95.00,Frozen WM 与 WorldEvolver 均 0.00/0.00numberTable 2”Frozen WM 0.00 0.00 … EvoBelief 61.67 95.00” (flattened)source-verified
C10MiniGrid MG-R(先验可解约一半):EvoBelief 83.33/78.33,Frozen WM 48.33/50.00numberTable 2”On MG-R, a less adversarial control where the prior solves about half of the episodes, EvoBelief still improves substantially”source-verified
C11三个 held-out seed 上 EvoBelief 69.6% vs Frozen WM 1.3%;颜色与房间名置换后 80.8% vs 7.1%number§4.3; Table 10”On three held-out seeds EvoBelief solves 69.6% of episodes against 1.3% for Frozen WM, and 80.8% against 7.1%“source-verified
C12去除主动实验或去除学习规则均使 MiniGrid 成功率停在先验水平;shadow 规则也降低成功率,MG-C 最明显causal-mechanism§4.3; Table 11”Without active experiments the critical rules never gain independent support, and without learned rules the planner falls back to the prior”source-verified
C13MiniGrid 静默 key 切换后反例使规则退役并重新开放实验,随后验证出 successor 规则,成功率回到切换前水平causal-mechanism§4.3; Figure 6”the counterevidence retires the rule and reopens experimentation. EvoBelief then validates a successor rule, and success returns to its pre-switch level.”source-verified
C14DiscoveryWorld Reactor Lab:EvoBelief Normal 完成率 83.33%、Challenge 58.33%,ReAct / WorldEvolver / Hypothesizer 均为 0%numberAbstract; Table 3”completing 83.3% of Normal-tier and 58.3% of Challenge-tier instances, versus 0% for each evaluated baseline”source-verified
C15Plant Nutrients 上 EvoBelief 对最强 baseline 的 completion 差的 CI 含 0,仅 knowledge 差 CI 排除 0benchmark-setting§4.4; Table 7”the interval for its completion difference from the strongest baseline of each tier includes zero”source-verified
C16WorldEvolver 与 ITP-I 使用官方发布实现,经同一 harness、接口、预算重跑,每任务只尝试一次benchmark-settingApp. E (Baselines, Protocol)“WorldEvolver and ITP-I are the official released implementations, run through the same harness, interface, and budgets”source-verified
C17WorldEvolver 原论文报告 best-of-5,本文改为单次尝试;WALL-E 2.0 的 ALFWorld 结果因协议与 backbone 不同而不可直接比较benchmark-settingApp. E”a task counts as solved when any one of the five trials succeeds … each task is attempted once.”source-verified
C18ALFWorld/MiniGrid/ScienceWorld 的规则由 typed transitions 经 code induction 得到,规则后果直接计算,无 rule-conditioned 模型调用;actor 从不接收规则文本causal-mechanism§4.1; App. C; Table 4”The actor itself never receives the validated rule text.”source-verified
C19规则生命周期与 authority 检查由 benchmark adapter 在 actor 之外实现,而非 promptcausal-mechanismApp. C (Division of labor)“the rule lifecycle and its authority checks are implemented outside the actor rather than delegated to a prompt”source-verified
C20commit 阈值事先固定、不在 benchmark 结果上调;ALFWorld 等多 episode 设置要求 ≥2 个 binding 且 ≥2 个 episodebenchmark-setting§3.4; App. B”The thresholds are set before any benchmark run, are never tuned on benchmark results”source-verified
C21Plant Nutrients 的首个版本在 6 个新实例上未过预设性能门槛、完成 0 个实例,后修订实现并报告新版本benchmark-settingApp. F.5”A first version of the Plant Nutrients instantiation … failed it: it completed no task instance”source-verified
C22所有实验仅在文本环境上进行;多模态、具身、真实软件 agent 是未来工作benchmark-settingApp. A”Our experiments use text-based environments”source-verified
C23论文未提供代码链接license-code全文(未检索到 GitHub/code 声明)unknownsource-verified

Strengths & Weaknesses

Strengths

  • 问题 formulation 清楚:把”信念存在”与”行为权限”分离(authority),用 N_ep/N_bind/N_test 的独立证据门槛控制规则传播,直接针对错误规则跨任务传染的风险。
  • 实验设计比同类更克制:MiniGrid 用预先固定的 held-out seed 与实体名置换检验规则是否 grounded 于效果而非名字;MG-R 对照排除”先验太弱”的解释;配对 McNemar + bootstrap CI;公开了 Plant Nutrients 首版失败。
  • 基线可信度较高:WorldEvolver / ITP-I 用官方实现同 harness 重跑,并说明 best-of-5 与单次尝试的差异。
  • 可追溯:append-only ledger,能说明某个动作为何被规则改写。

Weaknesses / 隐含假设

  • LLM 在核心环节缺位:假设诱导、验证计数、适用性检查、规划均由 benchmark-specific adapter 的代码完成(typed transitions、law fitting、编译实验),actor 看不到规则。因此”自进化的 LLM agent”更像”符号化环境学习器 + 冻结 LLM 提议动作”;每个新环境需要写 adapter,跨环境通用性未检验。比较对象(WorldEvolver 等)是否同样享有结构化观测接口,从正文看不清。
  • 隐含假设:transition 可被类型化并可检验、实验可逆且代价可控、环境近似确定性;commit 用计数阈值,在随机环境下会出问题(作者在 App. A 承认需要统计检验)。
  • 阈值(τ)虽称预设不调,但 MiniGrid MG-C/MG-M 本身被”设计”为需要一个先验不会预料的步骤、24 步预算不留碰运气空间——这是对该方法有利的 benchmark 构造;near-zero 基线反映的是隐藏规则而非弱基线(作者自己也这么说)。
  • 样本小:DiscoveryWorld 每 cell 12 个实例,ScienceWorld 90 任务,ALFWorld 134 任务单次尝试;MiniGrid 同 stream 的 episode 共享 belief state,作者承认 episode 级检验未考虑这种依赖。
  • 增益随 memory 减弱:有 transition memory 时 ALFWorld 增益显著缩小;ScienceWorld 主要靠 live experiment 而非规则复用,说明规则机制的作用部分与 episodic memory 可替代。
  • 只测两个 backbone(Haiku 4.5、GPT-5.4),无 ablation 说明在 ScienceWorld 中 experiment 与 rule 谁贡献更多(App. F 有机制统计,但未做彻底隔离)。
  • 无代码链接,复现依赖作者提供的 adapter。

影响:为”world model 即可证伪假设库”提供了一个清晰模板;对 GUI/web agent 的启发是 UI 动力学(如某控件的实际行为)也可作为带 scope 的规则被反例修正,但本文并未验证。

Mind Map

mindmap
  root((EvoBelief))
    Problem
      自进化只改 how to act
      环境信念错误或过时
      规则缺 validation / maintenance / application
    Method
      b_t = z_t + W_t
      假设 C and A implies Y
      被动证据 + 主动实验
      Commit 门槛 episode / binding / test
      收窄 demote retire
      规则改写预测 否决 串计划
      Adapter 代码实现
    Results
      ALFWorld +23.9 / +31.3 over Frozen WM
      MiniGrid drift 后恢复
      Reactor Lab 83.3 / 58.3 vs 0
      有 memory 时增益缩小

Notes

  • 与 2606-WALLWM 无直接关系(该文是 WALL-WM 世界动作建模,非 WALL-E 规则学习);WALL-E / WorldEvolver 是本文的直接对手,vault 暂无二者的独立笔记。
  • 2507-SelfEvolvingAgentsSurvey:本文属于该 survey 框架中”what to evolve”里被忽略的一类——环境 world model,而非 prompt/memory/tool/policy。
  • 2607-RethinkSkillEvolve:同样关注 self-evolving 反馈动态;EvoBelief 的反例驱动 retire 可视为对”技能越攒越多反而有害”问题的另一种回答(对环境知识而非 skill)。
  • 2603-HybridSelfEvolvingStructured:GUI agent 的结构化记忆,与 EvoBelief 的 evidence-linked rule store 可组合——把 GUI 动力学写成带 scope 的可证伪规则。
  • 2511-DreamGym:同样用 LLM/合成环境替代真实交互,但 DreamGym 训练参数,EvoBelief 冻结参数、更新外部信念。
  • 同周论文 Memento 3(rulebook 式 model-based recursive self-improvement)是紧邻工作,另行消化,对比点:规则的获取者(LLM vs adapter 代码)和 authority 机制。
  • 疑问:若把 adapter 换成 LLM 自己提取 typed transition,门槛机制是否仍成立?GUI 场景下 “binding” 如何定义?