Summary

Procedural Graph(PG)把任务的程序性知识写成 (procedure, relation, procedure) 三元组的有向图,每条边带 condition / guidance / pitfalls 三个文本属性;推理时按 agent 上一个动作精确匹配到图中节点,取 2-hop 出边邻域,由一个与 solver 同款的 guidance LLM 把邻域翻译成当步建议追加进 ReAct prompt。离线时 LLM refiner 对比成败轨迹提出增删节点/边的编辑,候选图只有在 held-out validation 上不降分才提交,被拒候选进入 rejection memory。Table 1 在 6 个 benchmark × 4 个 LLM 的 24 格里对最强 memory baseline 19 胜 2 平 3 负(sign test p=4.3e-4),但多数单格差距落在 95% CI 内,主实验所用图是手写还是演化得到的全文未说明。

Problem & Motivation

ReAct 类 agent 在不断增长的扁平历史上自由生成下一动作,“该做什么、按什么顺序、在什么条件下”这类程序性知识全隐含在生成里,轨迹一长就出现目标漂移、工具调用乱序和无效循环。已有补救各缺一块:Reflexion / ExpeL / MemoryBank 存的是自由文本经验,solver 仍需自行推断它对当前步意味着什么;AutoGuide 的 state-conditioned guideline 有条件但步与步之间不相连;AWM 与 FlowBench 式 workflow 把步骤串起来,但多为线性或手工设计;AFlow 离线搜索 workflow 却不随当前进度给建议。作者想要的是一种可编辑、可按当前进度局部检索、又能从执行反馈里改结构的程序性表示,并以知识图谱作类比:KG 回答 what-is,PG 回答 what-to-do。

Method

表示。(\mathcal G=(\mathcal V,\mathcal R,\mathcal E,\Phi)),节点抽象工具调用、技能、内部推理步或任务状态;边 ((u,r,v)) 表示在关系 (r) 下 (v) 可接在 (u) 之后;实际用到的关系词表只有 LEADS_TO / TRIGGERS / PROVIDES_INPUT_FOR / CONVERGES_TO 四种。属性 (\Phi(e)) 实现为 condition(何时走这条边)、guidance(怎么做)、pitfalls(避免什么)三段文本。图很小:除 BFCL v3(131 节点 / 265 三元组,对应其函数目录)外均为 7–17 节点、7–27 三元组(Table 7)。

在线 guidance(locate → extract → generate)。(u_t=\mathrm{Match}(a_{t-1},\mathcal V)) 对上一个动作做精确名字匹配;匹配成功取 (h=2) 步出边邻域,失败则退回全图。guidance 模型 (\Psi) 读邻域 + 用户 query + 最近 (w=3) 步轨迹,生成一段自然语言建议 (g_t),追加到 solver prompt;solver 仍自由选动作(soft integration,不做 decoding 约束)。guidance 模型、refiner 与 solver 用同一个 LLM,全部 greedy decoding。

离线自演化(Algorithm 1)。每轮用当前保留图在一批训练任务上 rollout,refiner 拿到拼接轨迹(超过 (L_{\max}) 时从开头截掉、保留结尾)、各任务分数、当前图 JSON、历次被拒候选,输出 add_nodes / delete_nodes / add_edges / delete_edges 四个数组;属性修改通过”删边再加边”实现。候选先过结构检查(端点存在、每个节点有到零出度终点的路径、可选去环),不过则直接记入 rejection memory、不做 validation rollout;通过则在独立 validation 集上评估,(S_{val}(\mathcal G^{cand})\ge S_{val}(\mathcal G_{k-1})) 即接受(平局也接受)。被拒候选从不作为下一轮起点。

构图模式(§5.3、App D.2)。Mode 1 手写专家图零样本;Mode 2 专家图 + 全训练集一次性更新、无 gate;Mode 3 专家图 + 分批迭代演化 + gate;Mode 4 从 Start→End 骨架一次性生成、无 gate;Mode 5 从骨架分批迭代演化 + gate。

Key Results

主表(Table 1,greedy decoding,95% CI;未报告重复运行或多 seed)。7 个 baseline 共用同一 ReAct solver 且消费同一训练轨迹。PG 在 24 个 model–benchmark 格中 21 格第一或并列第一;对每格最强 baseline 19 胜 2 平 3 负。三处负场(按 Table 1 逐格比较得出):Claude Sonnet 4.6 HotpotQA(74.50 vs AutoGuide 75.40)、Grok 4.1 Fast ALFWorld(39.55 vs ExpeL 42.54)、Grok 4.1 Fast τ-bench(67.83 vs KnowAgent 68.70)。最大领先:BFCL v3 + Gemini 3.5 Flash 67.00 vs 58.00、GDPval + Gemini 3.1 Pro 78.78 vs 71.37、τ-bench + Gemini 3.1 Pro 80.00 vs 73.04。HotpotQA 上对最强 baseline 的差距仅 −0.90 到 +1.30。测试集规模偏小:GDPval 44、BFCL 100、τ-bench retail 115、ALFWorld 134、MultiChallenge 166(Table 5),因此很多单格领先(如 Claude GDPval 51.49 [38.44, 64.54] vs MemoryBank 50.13 [37.04, 63.22])在 CI 内。

EnterpriseArena(Table 8,50 episodes,只对比 RAP 与 MemoryBank)。132 个月 CFO 模拟、3 次未告知的危机。full-horizon survival:Claude 44.0→58.0、Gemini 3.1 Pro 6.0→34.0、Grok 26.0→40.0、Gemini 3.5 Flash 所有配置均为 0.0(PG 平均寿命 33.58→40.62 月)。Claude 上 PG 的 Avg. Score($70.38M)低于 baseline($78.86M),融资额也更低($130.44M vs $152.12M)。工具调用方向随模型而变:Flash 18.94→12.53 次/月,Claude 0.13→0.36、Pro 0.89→3.18。

构图模式(Table 2,Gemini 3.5 Flash;MultiChallenge 用 56 题 fast split)。

ModeHotpotQA EM / F1MultiChallenge Overall
无图 baseline58.8 / 71.2187.50
1 手写专家62.80 / 76.6158.93
2 专家 + 一次性更新63.80 / 77.1653.57
3 专家 + 迭代演化63.10 / 76.3492.86
4 骨架 + 一次性生成55.40 / 69.4989.29
5 骨架 + 迭代演化66.30 / 78.7991.07

两处值得注意:HotpotQA 上带 gate 的 Mode 3 测试 F1(76.34)略低于无 gate 的 Mode 2(77.16)和未演化的 Mode 1(76.61);MultiChallenge 的专家图本身就把成功率从 87.50 拉到 58.93,Mode 3 的”修复”是从一个自伤的先验恢复,相对无图 baseline 的净增益为 +5.36 点,即 56 题中约 3 题。

EnterpriseArena 十轮自演化(§5.4、Table 11,Gemini 3.5 Flash,train/val/test 各 20 episodes)。validation survival:baseline 0 → R1 45(发现”查现金 → 预测 runway → 存笔记 → 查市场 → 决定融资”主干)→ R2 80(加入 recall_notes)→ R8 90;R3/R4/R6 被 gate 拒绝、R5 结构检查失败、R10 被拒。返回的 R9 图测试 survival 85% vs baseline 0%(Fisher p=2.6e-8);搜索过程中 R7 的测试 survival 曾达 95%,作者明确不以此为报告值。R4 被拒时 validation Avg. Score 实际高 +$3.793M(survival 75 vs 80),R9 Avg. Score −$0.801M 而 survival 持平却被接受,说明 gate 实际按 survival 判(论文未声明指标)。E.3 称 Round 8 的拓扑 “retained through Round 10”,但 R10 已被拒,最终返回的是 R9 的图(测试 survival 85%);95% 来自 R7。Table 11 的 Round 5 validation 行标为 “Validate (R04)“,按 Algorithm 1 应沿用 R2 的 80% / $46.038M 而非被拒 R4 的 75% / $49.831M(只影响报告数字,不影响最终图)。validation 每月工具调用 17.23 → 3.08(R2,−82.1%),R8 为 3.13(−81.8%);原文 E.1 把 R2 的 3.08 与 R8 对应的 81.8% 写在一起,引用时取其一并注明轮次。作者自述 20 episodes 下单次 accept/reject 只取决于 1–2 个 episode,应作搜索轨迹而非显著性检验来读。

用法消融(Table 3,Gemini 3.5 Flash,固定子集)。

配置MultiChallengeGDPvalALFWorldALFWorld tokens
无图80.2754.8072.5818,055
全图原样注入86.6057.1770.3421,062
全图 + generative guidance87.3556.7554.4896,360
局部子图 + generative(PG)89.3163.9981.5328,064

全图 generative 在 ALFWorld 上比无图低 18 点;局部化相对全图 generative 省 token 70.9% / 18.1% / 14.8%(ALFWorld / GDPval / MultiChallenge),但相对无图仍多 55.4%(ALFWorld)、33.4%(GDPval),MultiChallenge 上 12,295 vs 6,629(约 1.85 倍,正文未给百分比)。

附录补充。HotpotQA 上 Mode 5 validation F1 从 77.59 升到第 10 代 83.31;MultiChallenge 上 Mode 3 validation 从 54.0 升到 93.9(边数 13→10),Mode 5 达 94.9(图 6)。Gemini 3.5 Flash 的 BFCL 案例(F.1)中,PG agent 在用户只问票价时停下,baseline 继续执行订票并失败。

Evidence Ledger

Claim IDClaimTypeSource locatorEvidence excerptStatus
C1Table 1 中 PG 在 24 格里 21 格第一或并列第一;对最强 baseline 19 胜 2 平 3 负,单侧 sign test p=4.3e-4number§5.1”PG ranks first or joint first in 21 of 24 model–benchmark settings … 19 wins, two ties, and three losses”source-verified
C2最大领先:BFCL v3 Flash 67.00 vs 58.00;GDPval Pro 78.78 vs 71.37;τ-bench Pro 80.00 vs 73.04comparison§5.1;Table 1”BFCL v3 with Gemini 3.5 Flash ( 67.00% vs. 58.00% , +9.00 points), GDPval with Gemini 3.1 Pro ( 78.78 vs. 71.37”source-verified
C3三处负于最强 baseline:Claude HotpotQA 74.50 vs AutoGuide 75.40;Grok ALFWorld 39.55 vs ExpeL 42.54;Grok τ-bench 67.83 vs KnowAgent 68.70comparisonTable 1”AutoGuide … 75.40”; “Procedural Graph (Ours)74.50”; Grok “ExpeL … 42.54”; “KnowAgent … 68.70”
C4HotpotQA 上 PG 对最强 baseline 差距 −0.90 到 +1.30number§5.1”margins over the strongest baseline range from -0.90 to +1.30 points”source-verified
C5所有方法共用同一 ReAct solver,学习型 baseline 消费同一训练轨迹;guidance 模型与 refiner 与 solver 同一 LLM;temperature 0;h=2、w=3benchmark-setting§4”The guidance model and the offline refiner always share the same underlying LLM as the solver. All calls use greedy decoding”source-verified
C6测试集规模:HotpotQA 1,000、MultiChallenge 166、GDPval 44、ALFWorld 134、τ-bench retail 115、BFCL v3 100、EnterpriseArena 50benchmark-settingTable 5(App B.1)“GDPval … 8844”; “τ-bench … 500
C7Claude GDPval:PG 51.49 [38.44, 64.54] vs MemoryBank 50.13 [37.04, 63.22],领先在 CI 内;主表未报告重复运行或多 seedbenchmark-settingTable 1;§4 Models”Brackets give 95% confidence intervals”; “51.49 [38.44, 64.54]“unsupported → reworded
C8EnterpriseArena full survival:Claude 44→58、Pro 6→34、Grok 26→40、Flash 全部 0;对比臂只有 RAP 与 MemoryBanknumberTable 8;§5.2”raises survival from 44.0% to 58.0% for Claude Sonnet 4.6, from 6.0% to 34.0% for Gemini 3.1 Pro”source-verified
C9Claude 上 PG Avg. Score $70.38M 低于 baseline $78.86M,Raised $130.44M 低于 $152.12McomparisonTable 8”Baseline44.0%
C10工具调用:Flash 18.94→12.53 次/月;Claude 0.13→0.36;Pro 0.89→3.18number§5.2;Table 8”It issues 18.94 tool calls per month, which the graph reduces to 12.53”source-verified
C11Table 2 MultiChallenge Overall:baseline 87.50、Mode 1 58.93、Mode 2 53.57、Mode 3 92.86、Mode 4 89.29、Mode 5 91.07numberTable 2;§5.3”using the hand-crafted expert graph (Mode 1) lowers success from 87.50% to 58.93%“source-verified
C12Table 2 HotpotQA EM/F1:baseline 58.8/71.21、M1 62.80/76.61、M2 63.80/77.16、M3 63.10/76.34、M4 55.40/69.49、M5 66.30/78.79numberTable 2”Mode 5: Scratch + Online Evolution66.30
C13构图实验全部用 Gemini 3.5 Flash;MultiChallenge 100/100/56、HotpotQA 1000/1000/1000;迭代步长 S=100(HotpotQA)/ S=20(MultiChallenge)benchmark-settingApp D.3;App D.2”powered by the frozen Gemini 3.5 Flash model snapshot”; “100 training samples, 100 validation samples, and 56 test samples”source-verified
C14EnterpriseArena 自演化:validation survival 0→45(R1)→80(R2)→90(R8);返回图测试 85% vs 0%,Fisher p=2.6e-8;R7 测试曾达 95% 但不作报告值number§5.4;Table 11”The returned graph reaches 85.0% test survival against the baseline’s 0.0% (Fisher’s exact p=2.6×10^-8)“source-verified
C15自演化实验为 20/20/20 episodes 配置;作者称单次 accept/reject 取决于 1–2 个 episodebenchmark-setting§5.4;Table 5 Notes”With 20 episodes per split, individual accept/reject decisions turn on one or two episodes”source-verified
C16R3/R4/R6 被 gate 拒、R5 结构检查失败、R10 被拒;R4 被拒时 validation Avg. Score +$3.793M、survival 75 vs 80numberTable 11;App E.2”Round 04 [× Rolled Back] … Validate75.0%
C17validation 每月工具调用 17.23(baseline)→ 3.08(R2),R8 稳定在 3.13;原文”降 81.8%“对应 17.23→3.13(R8),17.23→3.08 应为 82.1%,原文混用numberApp E.1”drops from 17.23 in the Baseline to 3.08 in Round 2 … This is an 81.8% reduction”source-verified
C18Table 3:无图 / 全图原样 / 全图 generative / 子图 generative 在 MultiChallenge 80.27/86.60/87.35/89.31、GDPval 54.80/57.17/56.75/63.99、ALFWorld 72.58/70.34/54.48/81.53numberTable 3”Full-graph generative guidance further reduces ALFWorld success to 54.48 while increasing token consumption”source-verified
C19局部化相对全图 generative 省 token 70.9%/18.1%/14.8%;相对无图 GDPval 多 33.4%、ALFWorld 多 55.4%number§5.5;Table 3”by 70.9% on ALFWorld, 18.1% on GDPval, and 14.8% on MultiChallenge”; “remains 33.4% and 55.4% higher”source-verified
C20节点定位是对上一动作的精确匹配,失败退回全图;candidate 平局也接受;被拒候选写入 rejection memory 供下一轮 refiner 参考causal-mechanism§3.2;§3.3;Algorithm 1”Match locates the agent by exactly matching its most recent procedure”; “Accept, including ties”source-verified
C21图规模:除 BFCL v3(131 节点 / 265 三元组)外 7–17 节点、7–27 三元组;关系词表 4 种numberApp B.4;Table 7”every graph has between 7 and 17 nodes and between 7 and 27 triplets”source-verified
C22全文未说明 Table 1 / Table 8 主实验所用图的构图模式(手写、一次性生成或迭代演化);F.1 的 BFCL 案例用”骨架 + 一次性离线更新”的图;§4 只说学习型 baseline 消费与 self-evolution loop 相同的训练轨迹benchmark-settingApp B.4;App F.1;全文检索”The PG agent uses a graph built from scratch by a one-time offline update”source-verified
C23Table 8 中 Flash + PG full survival 为 0%,而 §5.4 自演化图在 Flash 上测试 survival 85%;作者称后者为独立实验comparisonApp C.2;§5.4”This result describes the configurations evaluated here; the separate self-evolution experiment is reported in Section 5.4”source-verified
C24Table 11 的 Round 5 validation 行标为 “Validate (R04)“、沿用被拒的 R4 数字,而 Algorithm 1 规定结构失败时保留状态不变(应为 R2)benchmark-settingTable 11;App E.2;Algorithm 1”The reported validation metrics for this round carry forward the Round 4 results”source-verified
C25附录 Fig 6:HotpotQA Mode 5 validation F1 77.59→83.31(第 10 代);MultiChallenge Mode 3 validation 54.0→93.9,边 13→10,Mode 5 94.9numberApp E.4.1;E.4.2”initial validation accuracy of only 54.0%”; “raising validation accuracy to 93.9% (ultimately approaching the scratch-built Mode 5 at 94.9%)“source-verified
C26论文未给出代码仓库链接license-code全文检索正文与 HTML 中无项目 GitHub 链接(仅 arXiv/LaTeXML 反馈链接)source-verified

Strengths & Weaknesses

亮点

  • Table 3 是最有信息量的一张表:同一张图、同一 solver,只换”看多少图”和”怎么用图”。全图 generative 在 ALFWorld 上比无图低 18 点、token 多 5 倍,局部子图 generative 比无图高 9 点。说明决定收益的是”把当前步相关的少数几条边给 LLM 去翻译”,而不是图本身的存在;全图交给 guidance 模型反而制造噪声。这条结论与图结构类比 KG 的叙事无关,可迁移到任何 skill / workflow 检索系统。
  • 对自己搜索结果的报告纪律较好:EnterpriseArena 报返回图 85% 而非过程中见到的 95%,并直说 20 episodes 下 accept/reject 是搜索轨迹而非显著性检验;主表给 95% CI 和跨 24 格的 sign test。
  • 演化轨迹可读:Round 1 发现的”查现金 → 预测 → 存笔记 → 查市场 → 决定融资”主干、Round 2 的 recall_notes、Round 8 的 bypass 都是能被人检查的结构改动,是 graph-structured 之外真正改了结构的例子。

局限

  • 主实验用的是哪种图,全文没说。Table 1 与 Table 8 是标题级证据,但 Table 7 只给节点数,B.4 未交代这些图是手写专家图、一次性生成还是迭代演化;F.1 的案例用的是 Mode 4(一次性生成)。若主表用了专家图,那么”自演化”并未参与主结论;若用了演化图,则 PG 额外用了 baseline 没用的 validation 集做选择(HotpotQA 的 validation 有 1,000 题),这在 B.3 “相同训练轨迹”的公平性声明之外。两种情况都需要作者澄清。旁证有二:§4 写 “every learning-based baseline consumes the same training trajectories as our self-evolution loop”,暗示主表用了演化但未明说;同为 Gemini 3.5 Flash,Table 8 中 PG 的 full survival 为 0%,而 §5.4 演化图的测试 survival 为 85%,由此推断(未经原文确认)主表在 EnterpriseArena 上用的不是 §5.4 演化出的图。
  • 没有 compute-matched 对照。PG 每步多一次 guidance LLM 调用;Table 3 显示总 token 比无图多 33%–85%。主表 baseline 中只有 AutoGuide 有逐步检索,且无一做每步生成。“同 token 预算下让 ReAct 多想一步 / 做自我检查”这一臂缺失,因此无法区分收益来自程序性结构还是来自每步多一次 LLM 反思。
  • 统计强度不均:sign test 把 24 格当独立样本,但同一 benchmark 跨 4 个 LLM 共享图与任务,相关性未处理;单格层面 GDPval(44 题,CI 宽约 ±13)与 BFCL(100 题)的领先多在 CI 内。MultiChallenge 构图实验 56 题,Mode 3 相对无图 +5.36 点约等于 3 题。
  • “修复专家先验”的说法需要限定:MultiChallenge 的专家图本身把成功率从 87.50 打到 58.93,作者没有解释这张图为何如此失败;从一个明显有害的先验恢复,与”改进一个合理先验”不是同一种证据。HotpotQA 上 gated 的 Mode 3(76.34)反而略低于无 gate 的 Mode 2(77.16)和原始专家图(76.61),说明 validation gate 并不保证测试提升。
  • EnterpriseArena 结论随指标与模型翻转:Claude 上 survival 提高但 Avg. Score 和融资额都更低;Flash 在 Table 8 里 survival 全为 0,而 §5.4 的演化图在 Flash 上达到 85%,两者差别(50 vs 20 episodes、图不同)未被调和。论文未写 EnterpriseArena 自演化的 validation gate 用哪个指标;从 Table 11 看实际按 survival 判、持平也接受(R4 Avg. Score +$3.793M 但 survival −5 被拒;R9 Avg. Score −$0.801M、survival 持平被接受),这一选择正文未声明。
  • 精确名字匹配定位意味着 PG 只适用于”动作名有限且与节点一一对应”的工具环境;GUI 点击坐标、自由文本动作或动作名不规范的场景都会退回全图,而 Table 3 恰好显示全图 generative 是最差配置。论文没有报告匹配失败率。
  • 内部不一致:Table 11 Round 5 的 validation 行沿用被拒的 R4 数字(C24),与 Algorithm 1 的”保留状态不变”不符。无代码。

Mind Map

mindmap
  root((ProceduralGraph))
    Problem
      ReAct 扁平历史下程序性知识隐含
      目标漂移 工具乱序 无效循环
      文本记忆不相连 workflow 多为手写
    Method
      procedure-relation-procedure 三元组
      边属性 condition guidance pitfalls
      精确匹配定位 2-hop 子图 guidance LLM
      refiner 增删边 validation gate 平局接受
      rejection memory
    Results
      Table 1 24 格 19 胜 2 平 3 负
      EnterpriseArena survival Pro 6 到 34
      自演化 Flash 测试 85% vs 0%
      局部子图优于全图 ALFWorld 81.53 vs 54.48
      token 比无图多 33% 到 85%

Notes

  • 2409-AgentWorkflowMemory:AWM 是本文的直接 baseline(线性 workflow 注入 prompt);PG 主表在 ALFWorld + Gemini 3.1 Pro 上对 AWM 只多 0.75 点(100.00 vs 99.25),在 Claude 上 AWM ALFWorld 仅 67.16,跨模型波动很大,AWM 在本文里的实现细节(B.3)值得在引用时注明。
  • 2607-RethinkSkillEvolve:同样是”LLM optimizer 提议、validation 过滤”的多轮演化,那篇的结论是演化更像稀疏的 validation 过滤搜索;Table 11 的 10 轮里只有 5 轮提交(R1/R2/R7/R8/R9)、4 轮被 gate 拒绝、1 轮结构失败,模式一致,可作为同一现象的另一个数据点。
  • 2608-GraphEngineering:按其 graph-structured 与 graph-engineered 之分,PG 的 EnterpriseArena 演化(结构改动经 validation 过滤后持久保留)属于少见的 graph-engineered 实例;但主表是否用了演化图不明(见 C22),不能把整篇算作该类证据。
  • 2608-SkillZipGraph:同样把程序性知识组织成图并在推理时取局部子图、同样测 ALFWorld;SkillZip 以 dependency-closed 子图 + 预算控制交付,PG 以 2-hop 出边 + LLM 翻译交付,两者都在说明”交付哪一小块”比”存多少”更关键。
  • 2606-ProceduralMemoryAFTER:AFTER 要求 procedural memory 经受跨 task / role / model 迁移检验;PG 的图按 benchmark 单独构建、同一 LLM 生成与使用,结论里作者自己把跨 solver 迁移列为 future work,正是 AFTER 要测的维度。
  • 待核:主实验图的来源;GDPval rubric 打分者是谁(B.2 只说按 per-task rubric 评分);Table 3 “fixed subsets” 的规模。