Summary

RRSI 把 harness 自演化当作在有限 evolve set 上反复做的 adaptive empirical optimization:它不限制哪些 harness 组件可以改,只约束搜索怎么走——提议侧有退火的每轮 edit 数上限、全历史的 credit 记录和停滞时的强制探索,选择侧有读 diff 的 leakage critic、按 base harness 重复评测量出的噪声地板,以及「多花 token 必须用更大增益来换」的接受规则,外加对长期无增益组件的删除。在 agentic workspace 实例上(Claude Opus 4.8 冻结,Harvey LAB 上演化),RRSI 的 evolve 分数是所有演化方法里最低的(90.5,Meta-Harness 93.0),但三个 OOD benchmark 的均值是唯一明显超过 base 的(43.6 vs 39.7),每 trial 的 policy token 为 2.42M,不加正则的演化是 3.80M。与其他演化方法的逐项对比只在 agentic workspace 上做过,该实例的 OOD 分数全部来自 LLM judge,而 policy、proposer、analyst、critic 都是 Claude Opus 4.8,JobBench 的 judge 之一也是 Opus 4.8。

Problem & Motivation

Harness 演化方法(Meta-Harness、AHE、TTHE、HarnessX 等)反复用同一个有限 evolve set 的分数提议、挑选 harness 改动,等于对同一批任务做 adaptive 的多次查看,evolve 分数涨了,held-out 上可能不涨甚至掉。作者把过拟合拆成三种耦合行为:把 benchmark 专属内容写进 harness、把评测噪声挑成永久状态、不断堆复杂度(尤其是上下文)换 evolve 分数。目标是让演化出的 harness 迁移到任务描述、工具接口或 verifier 都不同的未见 benchmark。

Method

框架只改搜索动力学,edit space 保持开放(prompt、control flow、config、context management、tools、skills、memory、subagents 都可增删)。作者用经典正则做类比,但明确说这些只是功能类比,不是在优化带范数惩罚的目标。

提议侧

  • Annealed update sparsity(类比 L0 基数约束):第 k 轮一个 candidate 最多打包 B_k 个可独立归因的 atomic edit,B 从 B_max(3 或 4)线性降到 B_min=1。早期允许组合改动,后期每轮只改一处,便于归因。
  • Evidence-aware credit assignment:每个被评测的 edit 记录 component、hypothesis、diff、score/cost 变化、是否被接受;proposer 后续以此为条件,已证伪的假设作为负证据保留。
  • Structured exploration:最近 W 轮进步不超过噪声带即判停滞,此时预留一个 candidate 槽给从未动过的组件(类比熵正则)。

选择侧

  • Leakage screening:评测前由 critic 读 diff(不读 proposal 说明),拒绝写入任务名、实体名、任务特定值、答案或惰性机械的改动。附录案例:critic 允许 rationale 里提到任务名,但代码里不能有。
  • Stability-aware acceptance:演化前重复评测 base harness 得到经验噪声带 ε;candidate 分数必须不低于「历史最佳 − ε」,防止一连串小退步被当噪声放过。
  • Complexity-aware acceptance(类比 Ridge):增益超过 ε 时,相对 token 增长必须 ≤ λ0 + λ1·ΔS;增益在噪声带内时改用一个打分规则,只认 token 节省和「此前从未进入接受路径的结构组件」的 novelty(coding 实例里带内分数增益权重为 0)。
  • Structural pruning(类比 Lasso):在 pruning window 内被动过却没有严格正增益的组件,交给 proposer 作为删除目标。

所有超参数在运行前固定,论文称没有 sweep、没看 held-out/OOD;但 token 预算系数 β 是对照 evolve set 开局几轮的候选校准的,并非完全先验。噪声带 ε 是测出来的(coding 0.017、agentic workspace 0.004、engineering 0.020)。

设定:三个 domain 各在一个 suite 上演化——Terminal-Bench 2.1(89 题)、Harvey LAB(120 evolve / 40 ID held-out)、EngDesign(61 题,无 held-out);OOD 为 SWE-bench Verified、JobBench、GDPval、APEX-Agents、Frontier-Eng。frozen policy、proposer、failure analyst、leakage critic 均为 Claude Opus 4.8;轮数 20/20/40,每题 2/2/4 trials。四个 baseline 与 RRSI 共用 base harness、policy、evolve set 和 candidate budget。

Key Results

  • Agentic workspace(Table 1):base 89.4 / 86.9 / 36.0 / 48.8 / 34.2(Harvey evolve / Harvey ID held-out / JobBench / GDPval / APEX-Agents);RRSI 90.5 / 89.2 / 40.7 / 52.3 / 37.9,OOD 均值 39.7 → 43.6。Meta-Harness evolve 最高(93.0)但 OOD 均值只多 0.9;HarnessX 持平 base;AHE、TTHE 低于 base,TTHE 低 1.7。ID held-out 上五个方法几乎无差别(88.5–89.2),分化只出现在 OOD。
  • Ablation(Table 2):不加任何正则 → evolve 92.8(所有臂中最高)、OOD 40.3、3.80M tokens/trial;去掉提议侧 → 90.7 / 41.9 / 2.69;去掉接受侧 → 91.5 / 41.0 / 3.59;完整 RRSI → 90.5 / 43.6 / 2.42。两组正则单独去掉都让 OOD 掉 1.7–2.6 点。
  • Coding:Opus 4.8 下 Terminal-Bench 2.1 74.2 → 80.2(+6.0),SWE-bench Verified 82.0 → 83.8;Gemini 3.5 Flash 下 64.6 → 78.7(+14.1),SWE-bench Verified 76.8 → 79.0。Gemini 3.5 Flash 演化出的 harness 原样给 Gemini 3.1 Flash Lite 用,Terminal-Bench 2.1 11.2 → 14.6。
  • Engineering:EngDesign 50.0 → 54.9;Frontier-Eng Medal 17.7 → 22.0(+4.3),但只有 47 题中的 38 题能计分,且排除了与 evolve set 重叠的 EngDesign domain。
  • 成本:AHE 3.82M tokens/trial,比 RRSI 多 58%;RRSI 平均 26.3 步,prior 方法 27.3–34.6 步;base 只有 1.56M、21.2 步,演化的增益有一部分是用 test-time compute 换的。
  • 可靠性:task-level paired bootstrap(10,000 次重采样)下,9 个 split 相对 base 的增益 95% CI 都排除 0,但下界普遍很低(如 SWE-bench Verified +1.8 [+1.1, +4.0],Harvey LAB evolve +1.1 [+0.8, +2.1],Frontier-Eng +4.3 [+1.1, +12.1]);这些 CI 是 RRSI vs base,不是 RRSI vs 其他演化方法。每个演化 run 都重跑了一次,agentic workspace OOD 均值 43.6 vs 43.7,两次 run 最大差 1.8 点(Terminal-Bench 2.1)。
  • 定性:Harvey LAB 上 RRSI 在 20 轮、32 个被评测 candidate 里只接受 4 个 edit,全部挂在 base harness 已有的 pre-finalize 检查点上(回读交付文件、指出缺失项的 probe);Meta-Harness 积累的是一段 730 词、复述 evolve suite 评分规则的系统消息,TTHE 积累了约 8,500 词的协议块,其中约 1,000 词只对 redline/tracked-changes 类交付物生效。

Evidence Ledger

Claim IDClaimTypeSource locatorEvidence excerptStatus
C1主实验(Opus 4.8)中最大 evolve 增益为 Terminal-Bench 2.1 +6.0(74.2→80.2);摘要的「up to 6.0」未涵盖 Table 3 的 Gemini 3.5 Flash +14.1numberSec 4.2; Table 3; Table 6”The evolve-set gains are 6.0 points on Terminal-Bench 2.1, 4.9 on EngDesign and 1.1 on Harvey LAB.”source-verified(已限定为主实验范围;原表述 contradicted)
C2正文 JobBench OOD +4.7(36.0→40.7),大于摘要「up to 4.3」,摘要与正文不一致numberAbstract; Sec 4.2; Table 1; Table 6”the three out-of-distribution agentic benchmarks gain between 3.5 and 4.7 points, 7.2% to 13.1%“source-verified
C3RRSI 2.42M vs 不加正则 3.80M tokens/trial,约少 36%(摘要写 30%)numberTable 2; Abstract”RRSI 90.5 89.2 43.6 2.42” / “Unregularized evolution 92.8 88.9 40.3 3.80”source-verified
C4Table 1:RRSI 90.5/89.2/40.7/52.3/37.9,base 89.4/86.9/36.0/48.8/34.2;OOD 均值 43.6 vs 39.7numberTable 1; Sec 4.2”RRSI (ours) 90.5 89.2 40.7 52.3 37.9”source-verified
C5Meta-Harness evolve 最高(93.0)OOD 只 +0.9;AHE、TTHE OOD 低于 base(TTHE −1.7);RRSI evolve 增益最小comparisonSec 4.2; Table 1”AHE and TTHE finish below the harness they started from, TTHE by 1.7 points”source-verified
C6Ablation:无正则 92.8/40.3/3.80;去提议侧 90.7/41.9/2.69;去接受侧 91.5/41.0/3.59numberTable 2”w/o proposal regularizers 90.7 88.8 41.9 2.69; w/o acceptance regularizers 91.5 88.7 41.0 3.59”source-verified
C7Gemini 3.5 Flash:Terminal-Bench 2.1 64.6→78.7,SWE-bench Verified 76.8→79.0numberTable 3; Sec 4.3”RRSI improves Terminal-Bench 2.1 from 64.6 to 78.7 and transfers a 2.2-point gain”source-verified
C8Gemini 3.5 Flash 演化的 harness 给 Gemini 3.1 Flash Lite:11.2→14.6numberTable 4; Sec 4.3”Terminal-Bench 2.1 accuracy rises from 11.2 to 14.6, a 30.4% relative gain”source-verified
C9Frontier-Eng 17.7→22.0;47 题中仅 38 题计分,EngDesign domain 被排除benchmark-settingSec 4.2; Table 7; App B.8”Its EngDesign domain reuses tasks from our evolve set and is excluded…so 38 of the 47 tasks contribute credit”source-verified
C10policy、proposer、analyst、leakage critic 均为 Claude Opus 4.8;JobBench judge 为 Gemini-3.5-Flash 与 Opus 4.8 平均benchmark-settingSec 4.1; App B.4”The proposer, the analyst that writes the cross-round failure feedback and the leakage critic are all Claude Opus 4.8.”source-verified
C11超参数运行前固定、无 sweep、不看 held-out/OODbenchmark-settingApp E.1; Table 5”we run no sweep and never consult held-out or out-of-distribution benchmarks”source-verified(β 在 evolve set 开局轮次上校准)
C12独立重复 run:OOD 均值 43.7 vs 43.6,两 run 最大差 1.8(Terminal-Bench 2.1)numberApp E.2; Table 7”The two runs disagree by at most 1.8 points anywhere, on Terminal-Bench 2.1”source-verified
C13Harvey LAB 上 20 轮、32 个被评测 candidate 中接受 4 个 editnumberApp F; Table 9”Four edits accepted out of 32 evaluated candidates over 20 rounds”source-verified
C14轮数 20/20/40,trials 2/2/4,噪声容差 0.017/0.004/0.020benchmark-settingTable 5”evolution rounds 20 20 40 … empirical noise tolerance 0.017 0.004 0.020”source-verified
C15EngDesign 50.0→54.9,无 ID held-out(61 题全部用于演化)benchmark-settingTable 7; App B.7”Evolution runs on all 61 tasks with no in-distribution held-out split”source-verified
C16代码声明发布于 github.com/google-research/rrsi(未核实仓库实际存在)license-codeAbstract / title page”github.com/google-research/rrsi regularized-rsi.com”source-verified
C17去掉任一组正则都使 evolve 分数升高、OOD 下降causal-mechanismSec 4.3; Table 2”removing either group raises the evolve-set score and lowers transfer”source-verified
C189 个 split 的 paired task-level bootstrap 95% CI 均排除 0numberApp E.2; Table 6”Paired task-level bootstrap on the gain of RRSI over H0, 10,000 resamples, percentile method”source-verified
C19「held-out 环境上比 prior baseline 平均高 up to 12.5%」comparisonSec 1”outperforming the average prior baseline by up to 12.5%“unsupported(Figure 1 推算为 +1.8%/+10.7%/+22.9%,无一为 12.5%;正文不采用)
C20四个 baseline 与 RRSI 共享 base harness、frozen policy、evolve set、candidate budgetbenchmark-settingSec 4.1; App F”All the baselines start from the same H0 and share the frozen policy, the evolve set and the candidate budget.”source-verified

Strengths & Weaknesses

亮点

  • 问题提得对:harness 演化本质是对同一有限 evolve set 的 adaptive 重用,演化方法之间的排序在 evolve set 和 OOD 上会翻转。Table 1 把这个现象在同一 base、同一 budget、同一 policy 下摆出来,比单报 evolve 增益有信息量得多。
  • 正则设计在边界上相对克制:不缩 edit space,只改接受规则和每轮改动量。噪声带用 base harness 重复评测直接测出,不是调出来的超参数,这是整套方法最站得住的一环。
  • Table 9 的定性对照很有说服力:baseline 不硬编码任务名、能通过关键词检查,却把 evolve suite 的评分规则和交付物体裁写进了 harness——leakage 比「写死答案」更隐蔽,这一点对所有 harness 演化工作都适用。
  • 报了 cost 维度、每个 run 的重复和 task-level paired bootstrap,在这类论文里少见。

局限与疑点

  • 摘要/引言与正文数字不一致:摘要说 OOD「up to 4.3 points」、evolve「up to 6.0」、token「30% fewer」;但正文 JobBench 是 +4.7,Table 3 的 Gemini 3.5 Flash evolve 增益是 +14.1,2.42M vs 3.80M 算下来约少 36%。引言称「比 prior baseline 平均高 up to 12.5%」,按 Figure 1 推算是 +1.8% / +10.7% / +22.9%,没有一个是 12.5%。Sec 4.3 还把 Ridge 式接受规则误称为 L1,把「去掉提议侧后 evolve 升 0.2」写成「costs 0.2」。方向都不影响结论,但说明 v3 文字没有和表格对齐。
  • 评测自循环:policy、proposer、analyst、critic 都是 Claude Opus 4.8(三个 domain 都如此,只有 Table 3/4 的 Gemini 对照例外),JobBench 的 judge 有一半是 Opus 4.8,Harvey LAB/APEX-Agents 用 Gemini-3.5-Flash 判。作者用 EngDesign/Frontier-Eng 的确定性评分反驳 judge hacking,这对 engineering 实例成立,但 agentic workspace 的 OOD 结论仍全部来自 LLM judge。
  • 归因粒度粗:ablation 只去掉整组(提议侧 / 接受侧),七个组件没有逐个消融,因此不知道是噪声地板、leakage critic 还是 token 预算在起主要作用。L0/Lasso/Ridge 类比作者自己承认只是功能类比,理论上没有提供任何泛化保证(只借了 Dwork et al. 的 adaptive data analysis 做动机)。
  • baseline 都是在作者的框架里重跑的:四个 baseline 共享 base harness 和 candidate budget,公平但也意味着它们并非在原始设定下运行;baseline 只在 agentic workspace 上比较,coding 和 engineering 只有 RRSI vs base,没有和其他演化方法对照。
  • Frontier-Eng 只计 38/47 题;EngDesign 无 held-out,evolve 增益不能单独说明泛化。
  • 只有两次 run,不足以估计搜索方差的分布;跨 policy 只试了 Gemini 一家的两个模型。

对领域的意义:把「harness 演化需要像训练一样做正则」这件事说清楚并给出可用的接受规则;其中噪声带 + token 预算这两条门槛几乎可以直接移植到任何 harness 演化循环。

Mind Map

mindmap
  root((RRSI))
    Problem
      evolve set 被 adaptive 重用
      benchmark-specific fitting
      噪声被挑成永久状态
      复杂度与 context 膨胀
    Method
      提议侧
        退火 edit 预算 L0 类比
        全历史 credit assignment
        停滞时强制探索
      选择侧
        读 diff 的 leakage critic
        base 重复评测得噪声地板
        增益换 token 的接受规则
        无增益组件删除 Lasso 类比
    Results
      Harvey evolve 最低 OOD 最高 43.6 vs 39.7
      tokens 2.42M vs 3.80M unregularized
      Terminal-Bench 2.1 +6.0 SWE-bench +1.8
      Frontier-Eng 17.7 到 22.0 仅 38/47 题

Notes

  • 与 vault 中 harness 自演化工作的本质区别:
    • 2607-HarnessBank(即 RRSI Related Work 中的 Luo et al. 2026,arXiv 2607.13683):用 MAP-Elites 式 gene bank 保多样性 + validity/activation/significance 三道确定性 gate。两者都有「显著性门」,但 HarnessBank 的改进方向是搜索的多样性和重组,RRSI 是约束每步改动量、成本和 leakage;HarnessBank 的 gate ablation 显示 2σ gate 对 test Pass@1 是 ±0.0,而 RRSI 的整组 ablation 声称接受侧正则对 OOD 有 2.6 点作用——两者对「显著性门是否提升上限」给出的证据方向不同,值得对照(注意 RRSI 没有单独消融噪声地板)。
    • 2609-SoLPi:同样把 RSI 放在 harness 层,但 SoL-Pi 的目标是效率(降 token),门槛是「能力指标在容差内 + 效率改善」,由研究 agent 在 535 个环境上找机制;RRSI 的目标是泛化,token 只作为接受约束。两者都用「先测容差再定门槛」的思路,SoL-Pi 接受了能力掉 2.5–2.8 点,RRSI 接受了 evolve 分数比 baseline 低。
    • 2609-NeoHorse1:RRSI 引用它作为 RSI 的例子,但 NeoHorse-1 改的是权重(routing harness 产生的数据用于 post-training),RRSI 明确限定 backbone 冻结、只改 harness。
    • 2609-HarnessDev 发现 evolution 增益大多落在同一 commit 重跑的 ±4.75 噪声带内、可见反馈与 held-out 同向率只有 53.1%——这正是 RRSI 噪声地板和 OOD 评测要处理的现象,可以作为 RRSI 的外部动机证据。
    • 2608-DarwinX(RRSI 引为 Zhang et al. 2026e)走的是相反方向:archive 保留更弱变体、跨 lineage 重组、追求 evolve 上限;RRSI 认为这种开放积累正是 OOD 掉分的来源。两者没有同台比较。
  • 待查:RRSI 的定性结论「OOD 收益来自回读交付物的 probe」是否只在 agentic workspace 成立;coding/engineering 上与 baseline 的分 benchmark 对比只以 Figure 1 的平均值出现,未单独列表。
  • 可借鉴:Table 9 揭示的「rubric/体裁 leakage」意味着关键词式 leakage 检查不够,critic 需要判断改动是否在复述评分规则——这对 GUI agent 在单一 benchmark 上演化 harness/skill 同样适用。