Web Agent 训练基础设施文章速览

TL;DR

Web agent 训练 infra 的焦点已经从“再设计一个 agent policy”转向“如何持续生产可验证任务、可复用轨迹、可控 rollout 和低成本模拟经验”。当前文章可以分成四层：真实环境 scaling、环境引擎/重置、任务与轨迹工厂、world-model simulator。它们不是互斥路线，而是一条 cost/fidelity ladder：越靠前越真实但慢且脆弱，越靠后越便宜可控但需要验证真实性边界。

对 Agent-Facing Environment Runtime 的直接判断：已有工作大多把 fork/reset/verification/simulation 用作训练或评测后端，很少把这些能力作为 agent 可调用、可组合、可消融的 runtime affordance。因此 AFE 的差异化不应是再造一个更大的任务集，而是把真实状态分支、可验证观察、恢复动作和训练信号统一成 agent-facing protocol。

文章分层

Layer	Representative papers	Infra contribution	Boundary
Real-environment scaling	2606-WebGym, 2601-WebGym, 2606-AsyncWebRL, 2606-OpenWebRL	大规模真实网站任务、rubric/verifier、async browser rollout、online RL	真实网站 non-stationary，rollout 慢，evaluator 依赖强 LLM
Environment engine / reset	2510-WebServ, 2509-AgentGymRL, 2600-WebHarbor, 2504-REAL	environment API、task reset、sandbox/service orchestration、可复现实验环境	多数能力服务 trainer/evaluator，不直接作为 agent 可调用工具
Task and trajectory factory	2603-AgentSynth, 2502-InSTA, 2412-PAE, 2410-NNetNav, 2506-GoBrowse	自动生成目标、探索网站、合成轨迹、控制难度	task validity 和 verifier noise 决定数据是否能转成训练信号
World-model / simulator	2510-UISimulator, 2507-WebSynthesis, 2411-WebDreamer, 2511-DreamGym, 2602-WAC	用 LLM/world model 生成 UI state transition、候选动作后果、虚拟轨迹	成本低但 fidelity 不确定；模拟状态不能天然等价真实 browser state

新读锚点

2603-AgentSynth 是任务供给侧的核心论文。它用简单子任务链和 final summarization 制造 information asymmetry，把可验证子任务组合成长程 computer-use task；6,000+ tasks、hard-task generation 52% vs direct 11%、约 $0.60/trajectory。它解决的是“哪里来足够多的可验证任务”，不是 rollout throughput。

2510-UISimulator 是 simulator 侧的核心论文。它用结构化 UI state + LLM/rule transition 合成 WebArena / AndroidWorld 训练经验，web trajectory 成本约 $0.02-$0.05；关键 ablation 显示 step-wise task control 和 multi-step simulation 都不可少。它说明 cheap synthetic experience 有价值，但也暴露 fidelity / hallucinated transition 风险。

2507-WebSynthesis 把 world-model MCTS 用于 offline WebUI trajectory synthesis。WebArena-Lite Pass@3 20.15%，小规模合成数据接近或超过更大 real/tutorial trajectory 数据；valuable + rollback trajectories 明显优于 rollback-only。它把 rollback 从 runtime recovery 变成训练数据形态。

2602-WAC 是 inference-time world-model guard。它在真实执行前模拟候选动作后果并修正 action，VisualWebArena +1.8pp、Online-Mind2Web +1.3pp。它不是训练 infra 主线，但说明 simulated affordance 可以作为 agent 的低成本风险过滤器。

关键判断

1. 任务供给和验证是比 policy 算法更硬的瓶颈。 WebGym / AgentSynth / PAE / NNetNav / GoBrowse 都在解决 task distribution 或 trajectory coverage；但只要 verifier 不可靠，更多任务只会产生更多 noisy reward。

2. 真实环境 rollout 和 synthetic simulator 应该组合，而不是二选一。 UI-Simulator / WebSynthesis 证明 synthetic experience 可以低成本覆盖失败模式；WebGym / AsyncWebRL 证明真实 browser rollout 仍是 reward grounding 和 final policy calibration 的必要环节。

3. Rollback/fork/branching 的训练价值已经出现，但多数还在 trainer 后端。 WebSynthesis 用虚拟 rollback 轨迹训练；WebRollback / BranchAndBrowse / Crab 等把恢复和分支用于 inference 或 runtime。尚缺的是把这些能力作为 agent-visible protocol，并测其对 success、sample efficiency、recovery 的因果增益。

4. World model 的正确位置可能是“草稿环境”，不是“真相环境”。 WAC / UI-Simulator / WebSynthesis 都从模拟中获益，但都依赖 LLM transition/judge。更稳妥的架构是：world model 负责 proposal、coverage、risk screening；真实 environment oracle 负责最终 verification 和 calibration。

5. AFE 的机会不在更大数据，而在 affordance contract。 如果 AFE-MiniSuite 能统一 observe -> map_state -> fork -> act -> verify -> rollback -> learn，并做 prompt-only / hidden-engine / agent-facing 三组对照，就能和 WebGym、AgentSynth、UI-Simulator 形成清晰区分。

下一步

• 以 2600-WebHarbor、2606-CUAGym 或 WebServ-like abstraction 为底座，做一个最小 AFE-MiniSuite。
• 任务集不必先追求大规模，先覆盖 C0-C7 因果控制：无 fork、隐藏 fork、agent-visible fork、verify-only、rollback-only、fork+verify、simulated fork、real fork。
• 指标至少包含 success、recovery success、sample efficiency、invalid-action rate、verifier false accept / false reject。
• 把 2603-AgentSynth 作为 task factory 上游，把 2510-UISimulator / 2507-WebSynthesis 作为 simulated branch 对照，而不是把它们当作同类竞争方案。