Hypothesis
若在 self-improving GUI Agent 的训练循环中引入 adversarial verifier——一个主动搜索 agent 失败模式的判别器，与 agent 交替训练——则可以在不依赖人工标注的前提下，检测并纠正自增强过程中的系统性偏差放大。可证伪预测：在有 adversarial verifier 的自增强训练中，agent 在 OOD 任务（未见 app/未见 layout）上的性能不会出现 UI-Genie 风格自增强中常见的 overfitting 退化现象（即 OOD success rate 在自增强后期下降），且最终 OOD success rate 比无 adversarial verifier 的 self-improving baseline 高 >10%。
Motivation
知识空白：CUA-Survey 明确指出 self-improving agent 的系统性偏差风险是关键开放问题——“若 RM 或 experience template 存在错误抽象，自增强过程可能放大偏差而非纠错”。当前 self-improving 方法（UI-TARS, UI-Genie, UI-Voyager, UI-Mem）都依赖 verifier/RM 来筛选高质量轨迹，但这些 verifier 本身是静态训练的，无法适应 agent 能力的演化——agent 学会了 verifier 的偏好后，可能 exploit verifier 的盲区。
为什么重要：Self-improving 是 GUI Agent 领域最重要的范式转变——从依赖人工标注到自主数据生成。但如果自增强不可靠（放大偏差、overfit 训练分布），整个范式的可信度会崩塌。Adversarial verification 提供了一种”可纠错”（而非仅”可增强”）的自进化机制。
时机：GAN 和 adversarial training 的思想在 CV/NLP 中已被充分验证。UI-Genie 的 reward model + agent 联合迭代框架天然适合引入 adversarial 动态。ClawGUI 提供了开源 RL 基础设施。当前正处于从”static verifier”到”adaptive verifier”的升级窗口。
Related Work
- 2500-UiGenieSelfImproving - Reward model + agent 联合迭代自增强，closest work
- 2500-UI-TARS- Pioneering Automated GUI Interaction with Native Agents - Iterative training with reflective online traces
- 2600-UiVoyagerSelfEvolving - Rejection Fine-Tuning + GRSD
- 2600-UiMemSelfEvolving - Hierarchical Experience Memory, failure pattern 参数化
- 2604-ClawGUI - 开源 GUI Agent RL 基础设施
- 2500-UiR1EnhancingEfficient - Rule-based action reward 的高数据效率
Novelty: 首次将 adversarial training 范式引入 GUI Agent self-improving 循环。区别于传统 GAN 的 image generation 场景，本 idea 的 adversarial game 定义在 GUI action verification 空间：verifier 学习发现 agent 的 failure mode，agent 学习通过 verifier 的检测。这解决了 self-improving 中”verifier 静态不变 → agent exploit verifier 盲区”的根本问题。
Approach sketch
Framework: Adversarial Self-Improving Loop
初始化：Agent π 和 Verifier V 均从预训练模型初始化
每轮迭代：
- Agent Exploration: π 在环境中执行任务，收集轨迹 {τ}
- Verifier Training: V 在混合数据上训练——(a) 随机轨迹（正例/负例混合），(b) π 最新生成的轨迹（V 需要学习判别 π 的特定 failure mode）
- V 的目标：对轨迹的每一步给出 success probability，识别可能导致最终失败的步
- 训练信号：最终任务 outcome 作为 hindsight label
- Adversarial Filtering: 用 V 筛选 π 的轨迹，保留 V 判定为高质量的轨迹
- Agent Improvement: π 在 V 筛选后的高质量轨迹上进行 GRPO 或 SFT
- Verifier Adversarial Update: Agent 进化后，V 需要在新的 agent 行为分布上重新训练。关键设计：V 的训练数据中增加 agent 最新生成的”hard negative”——agent 自信但实际失败或部分失败的轨迹
Key Design Choices:
- Verifier 架构: 轻量级 step-level classifier，输入为 {screenshot_t, action_t, task_goal}，输出为该步是否引向成功的概率。与 agent 共享 visual encoder 以控制参数量。
- 训练平衡: Agent loss 和 Verifier loss 的更新频率比例（如 agent 每更新 3 步，verifier 更新 1 步），防止 verifier 过强导致 agent 无法学习。
- OOD 监测: 在训练中持续在 hold-out app 集合上评估 agent，监测 OOD 性能是否随自增强退化。
Expected outcome
- 在 AndroidWorld 上，adversarial self-improving agent 的 In-Distribution SR 与 UI-Genie 风格自增强持平或略低（adversarial 训练有一定代价）
- 在 OOD app 子集上，adversarial agent 的 SR 比 UI-Genie 风格 baseline 高 >10%（核心优势）
- Ablation: 移除 adversarial verifier → OOD 性能退化，证明 adversarial 动态是 OOD 泛化的关键
- Verifier 的 step-level failure prediction accuracy 随训练提升，证明其学到了有意义的 failure pattern
Risk
- 训练不稳定性: adversarial training 以不稳定著称。缓解：使用 gradient penalty / spectral normalization 稳定 verifier 训练；先从 rule-based reward 的简单环境开始验证。
- Verifier overfitting to agent: verifier 可能过度拟合当前 agent 的行为分布，失去泛化判别能力。缓解：verifier 训练数据中保留固定比例的随机轨迹和人工标注种子数据。
- 计算开销：交替训练增加 wall-clock time。缓解：verifier 与 agent 共享 visual encoder，减少重复计算；verifier 架构保持轻量。
- 评估难度：OOD 泛化的改善可能需要大量 OOD 任务才能统计显著。缓解：使用 ScreenSpot-Pro 的 OOD split + AndroidWorld 的跨 app 子集。
Evaluation (2026-04-28)
| Dimension | Score | Notes |
|---|---|---|
| Novelty | 2/5 | SGV (Self-Grounded Verification) directly addresses verification bias in self-improving GUI agents. Adversarial verifier (external) vs. self-grounded (internal) provides differentiation but problem space occupied. Closest works: SGV, UI-Genie, Horcrux MITD |
| Feasibility | 2/5 | Adversarial training unstable. Alternating agent+verifier training complex. SGV’s internal approach is simpler and already demonstrated. |
| Impact | 4/5 | If successful, paradigm-level contribution — solving self-improving bias enables truly autonomous agent improvement. |
| Risk | 1/5 | Very high. GAN instability well-known. SGV is simpler alternative. Verifier collapsing or overfitting to agent is extremely hard to prevent. |
| Evidence | 2/5 | SGV proves verification bias is real. UI-Genie proves RM+agent co-training feasible. No direct evidence adversarial dynamics work in GUI action spaces. |
| Total | 11/25 |
Novelty: 2/5 — closest works: SGV (self-grounded verification for GUI agent self-improvement), UI-Genie (RM + agent iterative co-training), Horcrux MITD (structured verification with consistency monitoring).
Reasoning: Highest potential ceiling (Impact 4/5) but lowest probability of success. Adversarial training in discrete GUI action spaces has no proven solution. SGV provides a simpler alternative that already works. Only pursue as a moonshot if prepared for high risk and uncertain timeline.
Verdict: Not recommended as primary direction. The ScaleInvariant Grounding idea (16/25) offers better risk/reward balance.