Summary

在同一套 GUI-MCP harness 下把 Qwen3-VL-8B 的 Thinking 与 Instruct 两个 checkpoint 放到 OSWorld-MCP 的 309 个任务上对比,发现同样的 MCP 工具让 reasoning 模型涨 +4.0pp、让 non-reasoning 模型跌 −5.9pp——工具注入的符号由模型的 tool-decision 行为决定,而不由工具本身决定。即便受益的那一侧也只在 55/309 个任务上调用过工具,占 tool-reachable 任务的 23.9%,作者把这个缺口命名为 adoption gap。两个 multi-turn RL probe 进一步把问题拆开:dense tool bonus 能把 adoption 拉高一个数量级却完全不涨精度(瓶颈在 tool-call semantics),而让训练与推理共用同一条 observation 规则,则能把”丢掉工具成功后那张截图”的压缩折扣变成免费的半成本部署点。

Problem & Motivation

Computer-use agent 有两条动作路径:驱动 GUI(截图 + 坐标点击)通用但昂贵且脆弱——每帧吃掉约 2K vision token,视觉历史随轮次膨胀,坐标在界面变化后失效;调用 text-level 工具(MCP server、CLI、agent skill)便宜且精确,但只覆盖部分应用,且自身不提供视觉确认。

Hybrid agent 把两条路都暴露出来。领域的惯常问题是”工具集够不够好、注入 harness 够不够好”,本文问了一个更靠前的问题:当一个有用的工具就在手边时,模型会不会决定去用它? 这个问题的现实意义很直接——OSWorld-MCP 已经报告过即使最强模型的 tool invocation rate 也只有 36.3%,而并发工作 ToolCUA 则报告朴素的 MCP 注入会伤害 GUI agent。两个观察拼在一起,注入的净效应符号是未知的。

第二层动机来自成本。截图主导 token 预算,所以”每一帧保留还是丢弃”既是行为决策也是经济决策,直接定价一个部署中的 agent。作者据此把同一个问题”screenshots or tools?”提到两个层级:action level(这一步点像素还是调工具)与 context level(工具调成功之后,下一张截图还留不留)。

Method

受控对比的设置。 同一个 8B backbone 的两个 checkpoint——Qwen3-VL-8B-Thinking(有显式 reasoning trace)与 Qwen3-VL-8B-Instruct(无)——除 base model 外全部固定:harness、retriever、prompt template、tool set 一致。benchmark 是 OSWorld-MCP 的 test_all_no_internet split(309 任务),MCP 存量为 9 个应用命名空间下的 120 个工具,经 BM25 top-18 检索注入,每步一次调用并回传结构化错误。检索按当前活跃应用重新 keying,所以多应用任务看到的工具集会随应用切换而变。全部评测用 greedy decoding、max_steps=50、重复 5 次,显著性门槛设为 2 SE。

统一动作空间。 GUI 原语与 MCP 工具走同一个调用面:每步模型只输出一个 <tool_call>,要么是 computer_use(11 个原语:click / double-click / drag / scroll / key / type / wait / terminate 等),要么是某个被检索出的 MCP 工具,两者出现在同一个 <tools> 块里。没有外部 controller 做路由——选择哪条路径必须发生在同一个 action head 内部。这个设计是全文成立的前提:它把”路由决策”变成模型自己的行为,而不是系统的配置。

两个 context 旋钮。 文本动作轨迹全量保留,而像素走深度为 k 的滑动窗口(默认 k=4),于是旧截图会掉出窗口而其语义摘要与工具返回值留下。在此之上加第二个旋钮 drop-on-success:若上一步是执行成功的 MCP 调用,就把本步截图换成一个短文本占位符。关键限定是 succ_mcp 只是执行级成功(调用被解析、被派发、无错返回),语义成功是另一回事——这个区分在后面反噬了 drop rule。

Multi-turn GRPO probe。 每个任务在 96 个并行环境里以 temperature 1.0 采 G=8 条轨迹,回报为 ±1 结果项加上长度与步数上限两个 tie-breaker,组内 z-score 后按 1/T 均匀广播到每一步(Dr.GRPO 式长度去偏)。训练集是从 172 任务池里筛出的 74 个 gradient band 任务(经验通过率落在 0.1 到 0.9 之间,band 外的组内方差为零、不贡献梯度),chrome 与 multi_apps 共 89 个任务完全不训练,合计 235 个任务从未被训练。

关键的工程细节:dense bonus 必须放在归一化之后。 工具奖励 b_t 若折进轨迹回报 R(τ),会被轨迹平均、z-scoring 与 1/T 广播稀释到约 1e-4,作者实测是死信号;放在 group normalization 之后(λ_mcp=0.1)才比主信号响——因为 A_t 中来自结果项的部分归一化后量级只有约 0.07。bonus 只对”执行成功、非只读、且该 (tool, arguments) 键在本轨迹内首次出现”的调用触发,且不与任务成败挂钩,以此堵住重复调用与无副作用调用的刷分路径。

Key Results

1. 符号反转(Table 2, all-309 行)。 其他一切固定,MCP 注入把 reasoning 模型从 30.5% 抬到 34.5%(+4.0pp),把 non-reasoning 模型从 25.4% 压到 19.5%(−5.9pp),两个 delta 都超过 2 SE。最好的单次 Thinking run 达到 37.9%,但全文报的是 5 次均值。

2. 差异出在工具行为,不出在能力(Table 3)。 Instruct 侧 hallucinated tool name 有 97 次(集中在 2 个任务)而 Thinking 侧为 0;false-success rate 是 33.0%(102/309)对 21.7%(67/309)。作者自己指出,那 97 次幻觉集中在两个任务里、修掉也几乎不动总分,所以是症状不是病因;真正的读法是缺少显式 deliberation trace 时模型从不迈出”该不该用工具”这一步。作者明确把这条写成 association 而非 mechanism,因为两个 checkpoint 的差异不止 reasoning trace 一项。

3. Adoption gap(Table 3 供给块)。 309 个任务里 230 个 tool-reachable、79 个纯视觉;Thinking 的任务级 adoption 是 17.8%(55/309),落到 reachable 分母上是 23.9%;Instruct 是 10.4%(32/309)/ 13.9%。步级口径(MCP 步 / 总步)更低:2.8% 对 2.0%。最极端的是 VLC——暴露 12 个原生工具、16/17 任务 tool-reachable,两个模型一次都没调过

值得注意的是 adoption 高也不等于收益高:writer 上有一半任务调了工具,但调了工具的任务成功率 42%,没调的 82%(Appendix E),作者归因于难度自选择与参数写错的混合。

4. Action-level probe:行为可 steer,能力不可(§5.2)。 dense bonus 在 24 任务子集上 23 个训练步内把 spreadsheet adoption 从 0.03 拉到 0.33,并且迁移进 greedy decoding(0.02 → 0.29),步级使用率涨 4.7 倍。但 48 个 held-out 任务上零次持续的 fail→pass 翻转,7 个 held-out spreadsheet 工具任务精度全程贴在 base 水平。诊断很干脆:调用的 API 成功率有 98–100%,但参数密集型工具的语义成功率是零——regex find-and-replace 0/23,格式转换 0/16,server 对零效果调用照样返回 success:true。三条互相独立的机制(RL bonus、positive-advantage cloning、推理时注入工具文档)都大幅抬高 adoption,都不动精度。

5. Context-level:压缩本身不贵,train/inference 失配才贵(§4.2、§5.3)。 只在推理时套用 window-2 + drop 代价是 −3.9pp(±1.0),但仅 3/309 任务硬翻车,损失集中在预先登记的 13 任务退化子集 D13 上,指向 mis-adaptation 而非能力缺失。让 rollout、评测与部署共用同一条 observation 规则重训之后,step-40 压缩 checkpoint 在全 309 任务上达到 37.8%,对照未压缩基线 33.0%(+4.8pp),输入成本只有 53%、峰值上下文降 37%;D13 的 rich–lean gap 在 step 30 收敛到 0 并在噪声内保持(3.8–5.1pp)。token 侧:累计输入从 337.1K 降到 219.5K,p95 峰值从 11544 降到 7243。

这一节最该记住的是作者自己给出的减法。 235 个非训练任务上只有 +0.8pp 且不显著;+4.8pp 里约 4.1pp 来自那 74 个训练任务(55.8% → 72.9%),所以全套数字被作者自己判定为 in-distribution。预先登记的 DiD 判据要求压缩侧增益超出 rich 侧 15pp,实际 step 30 为 +12.8pp、其后 +7.7 到 +9.0pp,没有任何一个 checkpoint 达标,作者记为 failed 而不是改阈值重述。匹配的 rich-observation 对照在同一 step-30 上训练带增益近乎两倍(+20.5pp 对 +11.5pp),说明 in-distribution 的上涨是优化 recipe 的性质而非一致性训练的功劳——压缩若有影响,反而是训练期的一道障碍。rich 对照能到 41.0%(step 40),但每任务输出 42.6K token 对压缩侧的 10.7K,总成本约 1.6 倍,两者处在成本-精度前沿上不可直接比较的点。

因此这一节可以被带走的、经得起推敲的结论是”等精度、半成本”,而不是”压缩顺带涨点”。

Evidence Ledger

Claim IDClaimTypeSource locatorEvidence excerptStatus
C1Thinking 全 309 任务 30.5% (GUI only) → 34.5% (GUI+MCP, window-4),即 +4.0ppnumberTable 2, all(309) 行 / §3.1”the same MCP tools improve a reasoning model by +4.0pp”source-verified
C2Instruct 全 309 任务 25.4% → 19.5%,即 −5.9ppnumberTable 2, all(309) 行 / §3.1”degrade a non-reasoning model by −5.9pp”source-verified
C3两个 delta 均超过 2 SE;全部评测 5 次重复、greedy decoding、max_steps=50benchmark-setting§3 Setup”All evaluations use greedy decoding, max_steps=50, and five repeated runs”source-verified
C4Benchmark 为 OSWorld-MCP 的 test_all_no_internet split,309 个任务benchmark-setting§3 Setup”benchmark is test_all_no_internet (309 tasks) from OSWorld-MCP”source-verified
C5MCP 存量 120 个工具 / 9 个应用命名空间,BM25 top-18 检索,每步一次调用benchmark-setting§3 Setup”120 tools in 9 application namespaces, exposed through BM25 top-18 retrieval with one call per step”source-verified
C6Thinking 在 55/309 任务上调用工具(17.8%),占 tool-reachable 的 23.9%numberTable 3, Adoption 行”Adoption, task-level 17.8% (55/309)”; “Adoption, reachable (230) 23.9%“source-verified
C7309 任务中 230 个 tool-reachable,79 个纯视觉numberTable 3, Supply 块”Tool-reachable (supply) 230/309 (79 vision-only)“source-verified
C8Instruct adoption 32/309(10.4%),reachable 口径 13.9%numberTable 3, Adoption 行”Adoption, task-level 10.4% (32/309)”; “reachable 13.9%“source-verified
C9步级 TIR(MCP 步 / 总步)Thinking 2.8%、Instruct 2.0%numberTable 3, TIR 行”TIRreal (MCP/steps) 2.8% 2.0%“source-verified
C10False-success rate:Thinking 21.7% (67/309),Instruct 33.0% (102/309)numberTable 3, Failure modes”False-success rate 21.7% (67/309) 33.0% (102/309)“source-verified
C11Hallucinated tool name:Thinking 0,Instruct 97,且集中在 2 个任务numberTable 3 + §3.1”Hallucinated tool names 0 97 (2 tasks)”; “hallucinations concentrate in two tasks”source-verified
C12VLC 暴露 12 个原生工具、16/17 任务 tool-reachable,两模型均从未调用numberAppendix E”VLC exposes 12 native tools with 16/17 tasks tool-reachable, yet neither model ever calls one”source-verified
C13λ_mcp=0.1 的 post-norm bonus 在 24 任务子集上 23 步内把 spreadsheet adoption 0.03→0.33,greedy 侧 0.02→0.29number§5.2 + Table 6”spreadsheet adoption rises from 0.03 to 0.33 within 23 training steps… transfers to greedy decoding (0.02→0.29)“source-verified
C1448 个 held-out 任务零次持续 fail→pass 翻转;7 个 held-out spreadsheet 工具任务精度保持在 basenumber§5.2”zero sustained fail→pass flips… seven held-out spreadsheet tool tasks accuracy stays at the base level”source-verified
C15API 执行成功率 98–100%,但参数密集工具语义成功率为零:regex find-replace 0/23、格式转换 0/16number§5.2 Diagnosis”98–100% API success… 0/23 for regex find-and-replace and 0/16 for format conversion”source-verified
C16仅在推理期启用 window-2 + drop 的代价是 −3.9pp(±1.0)number§4.2”costs −3.9pp (±1.0)“source-verified
C17累计输入 337.1K → 219.5K,p95 峰值 11544 → 7243numberAppendix D, Table 5window-4: 337.1K / 11544; window-2+drop: 219.5K / 7243source-verified
C18Step-40 压缩 checkpoint 全套 37.8% 对未压缩基线 33.0%(+4.8pp),输入成本 53%、峰值上下文 −37%number§5.3 Deployment headline”reaches 37.8% against 33.0% for the uncompressed base operating point… 53% of the input cost, with −37% peak context”source-verified
C19235 个非训练任务上仅 +0.8pp,标注为不显著number§5.3 Deployment headline”+0.8pp, n.s., on the 235 non-training tasks”source-verified
C20+4.8pp 中约 4.1pp 来自 74 个训练任务(55.8%→72.9%),作者据此把全套数字判为 in-distributioncausal-mechanism§5.3 Deployment headline”~4.1pp of that margin comes from the 74 training tasks (55.8%→72.9%), so we read the full-suite number as in-distribution”source-verified
C21D13 的 rich–lean gap 在 step 30 收敛到 0 并在噪声内保持(3.8–5.1pp)number§5.3 Degraded subset D13”rich–lean gap collapses to 0 at step 30 and stays closed within noise (3.8–5.1pp)“source-verified
C22预登记 DiD 判据要求 ≥15pp,无任何 checkpoint 达标(step 30 为 +12.8pp,其后 +7.7 到 +9.0pp),作者记为 failedbenchmark-setting§5.3 Degraded subset D13”the +15pp bar is met at no checkpoint… we record it as failed”source-verified
C23Rich-observation 对照在同一 step-30 训练带增益近乎两倍(+20.5pp 对 +11.5pp),据此归因为 recipe 效应而非一致性训练causal-mechanism§5.3 Scope and attribution”gains nearly twice as much on the training band (+20.5pp vs. +11.5pp)… a property of the optimization recipe and not of consistency training”source-verified
C24Rich 对照 step-40 达 41.0%,但每任务输出 42.6K token 对压缩侧 10.7K,总成本约 1.6×number§5.3 Scope and attribution”reaches 41.0% at step 40, but emits 42.6K output tokens per task against the compressed run’s 10.7K”source-verified
C25两个对比 checkpoint 同为 8B backbone(Qwen3-VL-8B-Thinking / -Instruct),harness、retriever、prompt、tool set 固定benchmark-setting§3 Setup”two checkpoints of the same 8B backbone… Everything else is held fixed: harness, retriever, prompt template, and tool set”source-verified
C26Multi-turn GRPO,G=8、temperature 1.0、96 并行环境,训练集为 74 个通过率落在 0.1–0.9 的 gradient band 任务,235 任务从未训练benchmark-setting§5.1”G=8 trajectories at temperature 1.0 across 96 parallel environments”; “leaves 235 tasks never trained on”source-verified
C27Writer 上调用工具的任务成功率 42%,未调用的 82%numberAppendix E”tasks where a tool is invoked succeed 42% of the time versus 82% without a call”source-verified
C28λ_mcp=0 的 outcome-only RL 在整个 sweep 中均不移动 held-out 与 OOD 精度causal-mechanism§5.1 Outcome-only RL”With λmcp=0, no swept configuration moves held-out or out-of-distribution accuracy”source-verified
C29论文引用 OSWorld-MCP 报告最强模型工具调用率仅 36.3%number§2 Related Work”reports that even strong models invoke tools on only 36.3% of tasks”source-verified
C30论文引用并发工作 ToolCUA 在 OSWorld-MCP 上达 46.85%,并报告朴素 MCP 注入会伤害 GUI agentcomparison§2 GUI-tool hybrid agents”heavy RFT/RL (46.85% on OSWorld-MCP) and reports that naive MCP injection can hurt a GUI agent”source-verified
C31最好的单次 reasoning-model run 达 37.9%,但全文报 5 次均值number§3.1 Overall result”The best single Thinking run reached 37.9%; we report five-run means throughout”source-verified
C32训练用 1 节点 8×A100 80GB,环境为 96 个并行 Docker VMbenchmark-settingAppendix F, Hardware”1 node with 8×A100 (80 GB) GPUs… Environments run in 96 parallel Docker VMs”source-verified
C33论文未给出任何公开代码 / 仓库释出地址license-code全文检索全文无 github / code available / repository 释出声明source-verified
C34每步输出长度 Thinking 约 1500 字符、Instruct 约 217 字符,对应 6–7× token 差numberAppendix C”~1500 characters for Thinking… versus ~217 for Instruct, matching the 6–7× token gap”source-verified
C35三条独立机制(outcome-independent bonus、positive-advantage cloning、推理期工具文档注入)都大幅抬高 adoption,都不改变精度benchmark-setting§5.2 Diagnosis”all raise adoption substantially… and none changes accuracy”source-verified
C36作者机构为 UESTC / 小红书 AI Platform / 人大高瓴 / 北大信息工程学院,投稿日 2026-08-04numberPDF p.1 题头 / arXiv abs”1University of Electronic Science and Technology of China; 2AI Platform, Xiaohongshu Inc.”source-verified

Strengths & Weaknesses

问题选得对。 把”工具集好不好”换成”模型会不会决定用工具”,并且用一个可测量的量(adoption gap = 调用任务数 / tool-reachable 任务数)把它钉住,这是 problem formulation 层面的贡献而不是方法层面的。领域里”给 agent 挂上 MCP 就会变强”是一条被默认接受的 convention,本文给了它一个受控的反例。

控制变量的干净程度在 CUA 类论文里少见。 同一 backbone 两个 checkpoint、harness / retriever / prompt / toolset 全部固定、5 次重复加 2 SE 门槛,Appendix A 还单独论证 harness 正确性(per-window clip_frac=0、ratio=1.0 证明 on-policy;checkpoint 与 base 除权重外字节一致以排除配置漂移)。这类论文最常见的失败是把 format 错误当成能力差异,作者显式把这个威胁列出来并逐条排除。

诚实度高,而且是在对自己不利的地方诚实。 预登记的 DiD 判据没达标就写 failed,并且说明原阈值是被单次 anchor 高估的基线校准出来的、拒绝按修订阈值重述;+4.8pp 里 4.1pp 来自训练集也自己拆了出来;rich-observation 对照反过来学得更快、压缩其实是训练期的负担,同样照写。这在当下的 agent RL 论文里是稀缺品质。

最有价值的单条结论是 adoption 与 competence 的解耦。 三条机制上互不相干的干预(RL 的 outcome-independent bonus、positive-advantage cloning、推理期文档注入)全都能抬 adoption、全都不动精度,再叠加 0/23 与 0/16 的语义成功率,把”这是数据问题不是 reward-design 问题”这一判断顶得相当稳。对任何准备在 GUI-tool 路由上做 reward shaping 的人,这直接省掉一整轮实验。


最锋利的问题:zero-adoption 域的方向性没有被处理干净。 Table 2 里 gimp / thunderbird / vlc / chrome 四个域的 adoption 都是 0%,但 Thinking 侧四个域在加 MCP 后全部上升(vlc 24.7→40.0 是全表最大单域跳变),Instruct 侧四个域全部下降(gimp 57.7→34.6)。作者把这一块从 per-domain 计数中剔除了,理由正是”没有工具调用,变化只反映 prompt 扰动与 run 间方差”——但这一块仍然留在 all-309 行里,也就是留在 ±4.0 / −5.9 这两个 headline 里。如果零工具调用的域能被 prompt 扰动整体推向与 headline 一致的方向,那么”符号由 tool-decision 行为决定”这条主张就被部分架空:至少一部分符号来自”system prompt 里多了一个 tools 块”本身对两个模型的相反扰动。论文没有给出剔除 zero-adoption 域后的 all 行。〔本条为笔记作者读 Table 2 的推断,未进入本轮独立核查集〕

两个不同的基线锚被并置。 §5.3 的”37.8% 对 33.0%“用的是同期 greedy×3 anchor,而 Table 2 里同一个 window-4 operating point 的 5 次均值是 34.5%。两个数字在原文各自有据(C1 与 C18 均已核查一致),但如果读者拿 37.8 去比 34.5,得到的是 +3.3pp 而非 +4.8pp。论文没有在任何一处并排提示这两个基线口径不同,摘要与 §5.3 都只带 33.0。

真正外推得出去的结论比 headline 弱一档。 235 个 OOD 任务上是 +0.8pp 且不显著,所以可辩护的表述只有”等精度、半成本”。作者在正文里说清楚了,但摘要仍以”37.8% against 33.0%“领衔——这是本文唯一一处口径偏松的地方。

机制归因只到 association,作者自己也这么说。 两个 checkpoint 的差异不止 reasoning trace 一项,需要 within-model 的 thinking toggle 才能定论;单 backbone 单尺度(8B)也让”reasoning 能力决定注入符号”无法外推到更大模型。这是一个诚实标注的边界,不是隐藏的缺陷,但它确实意味着标题里的结论目前 n=1。

drop rule “nearly free” 的措辞略宽松。 Table 2 上 window-4 → window-4+drop 是 34.5 → 32.3(−2.2pp),而 Table 2 未逐格给出 SE;§4.2 给出的配对分析 SE 约 ±1.0。若量级相当,−2.2pp 未必稳落在作者自设的 2 SE 门槛内,“nearly free”这个判断依赖的是一个没有被展示的方差估计。〔笔记作者推断〕

无代码释出。 harness、retriever、74 任务的 gradient band 清单都不可复现。对一篇核心贡献恰恰是”同一 harness 下的受控对比”的论文,这削弱了它作为后续工作基线的可复用性——别人无法在”同一 harness”下接着做。

对领域的影响。 短期最实用的是 context 侧那条便宜的工程结论:train 与 inference 的 observation rule 必须一致,不一致的代价(−3.9pp)看起来像能力损失,其实是分布偏移,重训即可抹平。长期更重要的是它把 hybrid agent 的研究重心从 reward shaping 推向”验证过的 tool trajectory 监督数据”——如果 0/23 这个语义成功率在更大模型上依然成立,那么整个 MCP-for-CUA 方向的瓶颈就不在 agent 侧而在工具调用的正确性监督上。

Mind Map

mindmap
  root((ScreenshotsOrTools))
    Problem
      hybrid GUI 加 MCP 的 agent 有工具却不用
      注入效应的符号事先未知
      截图主导 token 预算
    Diagnosis
      sign reversal
        Thinking 30.5 到 34.5
        Instruct 25.4 到 19.5
        两侧均超过 2 SE
      adoption gap
        55 of 309 tasks
        tool-reachable 口径 23.9 pct
        VLC 16 of 17 可达却零调用
      failure modes
        hallucinated tool names 97 vs 0
        false-success 33.0 vs 21.7
    Method
      统一 tool_call 动作空间无外部路由
      BM25 top-18 检索 120 tools
      window-k 图像历史加 drop-on-success
      multi-turn GRPO 加 post-norm tool bonus
    Results
      action level
        adoption 0.03 到 0.33
        held-out accuracy 不动
        语义成功率 0 of 23
        三条机制同样结论
      context level
        推理期压缩 -3.9pp
        matched training 抹平该损失
        37.8 vs 33.0 at 53 pct cost
        OOD 仅 plus 0.8pp 不显著
    Takeaway
      tool decision 可被 steer
      tool competence 需要监督数据
      观测规则须训练推理一致

Notes

  • 2510-OSWorldMCP 的关系(去重确认)。 本文不是那个 benchmark 的论文,而是它的使用者:OSWorld-MCP 由 Jia 等人提出(arXiv 2510.24563, ICLR 2026, 361 任务 / 158 工具 / 7 类应用),本文取其 test_all_no_internet 的 309 任务子集,工具口径记为 120 tools / 9 namespaces——两边的任务数与工具数口径都不同,引用这两篇的数字时不能混用。更重要的继承关系是问题的传递:OSWorld-MCP 的核心发现是”最强模型 TIR 仅 36.3%“,本文把这个数字当作起点去追问 why,并把它细化成 supply(tool-reachable 230/309)与 decision(reachable 上仍只有 23.9%)两个可分离的损失。
  • 环境侧的并列工作。 2506-MCPWorld 同样做 API / GUI / hybrid 三路评测;2508-ComputerRL 是 API-GUI 混合动作空间上的大规模在线 RL,本文 Table 1 把它归类为”tool decision 隐式、context 不管”。本文相对它们的差异不在规模而在把 tool decision 单独当变量测。
  • context 压缩这条线在库内已经不薄,但设定不同。 2510-ContextFolding2512-FoldAct2510-MemAct 都在纯文本 / search agent 设定下学一个 context policy。本文的两点差异值得记:一是 dual-modality——同一份旧信息既可以是 pixel 也可以是 tool text,压缩变成跨模态的取舍而非文本摘要;二是刻意把规则固定住不学,目的是先把 train/inference mismatch 这个混杂因素分离出来,再谈学习。这是库内第一篇把”observation rule 的训练-推理一致性”本身当作实验变量的工作,结论(失配的代价看起来像能力损失、实则可被重训抹平)对上述三篇都适用,值得回头验证它们的压缩收益里有多少是同一个 artifact。
  • 2608-QwenCUA 记下的 GUI↔CLI routing 问题是同一类,但本文给了更强的负面证据。 QwenCUA 那边观察到加 Bash 让轨迹缩短约 23% 但 perfect-task rate 下降,问题被表述为”何时切到 CLI”这一 routing 决策没学好。本文把这个诊断往下推了一层:routing 可以被 RL 轻易 steer(adoption 涨一个数量级且迁移到 greedy),涨了却不涨精度,因为底层的 tool call 本身参数就写不对。也就是说 routing 不是瓶颈,tool-call semantics 才是。这两条放在一起,说明”GUI↔tool routing 的 RL 目标很干净”这个判断需要修正——奖励信号确实干净,但它够不到真正的瓶颈。
  • 一个论文提到却没有追下去的线索,可能是最值得做的。 succ_mcp 只是执行级成功,server 在零效果调用上照样返回 success:true,这同时造成两个后果:喂出 false-success prior(Instruct 侧 33.0% 的假成功率),以及 drop-on-success 恰好把该次失败的唯一视觉证据丢掉。两个机制叠加会让 agent 系统性地看不见自己的失败。把 succ_mcp 从执行级换成带语义校验的判定(哪怕只是”这次调用是否改变了目标状态”这种廉价 diff),有可能同时修好 adoption 侧的错误先验与 context 侧的 drop 安全性——论文明确指出了这个 gap(§4.2 Scope)但没有实现。这比再加一个 reward 项更接近问题本身。
  • 本文对 verified tool trajectory 的监督注入(“from stronger teachers”)只在 Limitations 里提了一句作为 next step,没有实验。如果库内后续要跟进 hybrid GUI-MCP 方向,这是被本文的负面结果直接指定的入口。
  • 无代码释出(全文检索无 repository 声明),code 字段留空;harness 与 74 任务 gradient band 清单均不可复现。