ProBench: Benchmarking GUI Agents with Accurate Process Information

Summary

本文提出了ProBench基准来解决现有GUI代理评估中仅依赖最终屏幕状态的问题，采用了包含200多个挑战性GUI任务的数据集，并引入了过程信息提供者以实现更精确的性能评估。

Problem & Motivation

随着人工智能与交互技术的深度融合，图形用户界面（GUI）代理作为连接目标导向自然语言与现实设备的载体，受到了广泛关注。当前的基准测试主要评估GUI代理在操作任务中的综合能力，通常仅通过检查最终屏幕状态来判断任务完成情况。然而，GUI操作任务通常由多个链式步骤组成，而并非所有关键信息都在最后几页中呈现。现有方法在评估时忽视了这一点，导致评估结果往往不准确。例如，某些任务需要在选择产品之前进行排序，但现有评估方法可能会将正确和错误的操作路径视为同样成功。虽然一些研究开始尝试将中间步骤纳入评估，但准确和自动捕捉这些过程信息仍然是一个开放性挑战。为了解决这一问题，本文提出了ProBench，一个全面的移动基准，涵盖了200多个具有挑战性的GUI任务，扩展了传统的状态相关任务评估，设计了一种专门的评估方法。通过引入过程信息提供者，ProBench能够自动提供准确的过程信息，从而实现对代理性能的精确评估。本文的核心创新在于不仅关注最终结果，还重视任务执行过程中的每一个关键步骤，从而为未来的GUI代理研究提供了新的方向。

Method

ProBench的整体架构包括任务策划、动作空间定义和评估管道设计。以下是关键组件的详细说明：

任务策划（Task Curation）:
- 该组件负责设计和选择200多个具有挑战性的GUI任务，确保覆盖广泛的应用场景。
- 设计动机在于通过多样化的任务来测试代理的综合能力，而不仅仅是单一的操作。
- 与现有方法不同，ProBench不仅关注最终结果，还重视任务执行中的每一步，确保评估的全面性。
动作空间（Action Space）:
- 动作空间定义了代理在执行任务时可采取的所有可能操作。
- 设计动机是为了提供灵活性，使代理能够在不同的任务中选择最合适的操作，而不是仅依赖于预定义的步骤。
- 这一设计与现有方法的区别在于，ProBench允许更自由的操作选择，促进了代理的自主决策能力。
评估管道（Evaluation Pipeline）:
- 评估管道负责收集和分析代理在执行任务时的过程信息。
- 设计动机是为了实现对代理性能的精确评估，特别是在多步骤任务中。
- 这一组件的创新在于引入了过程信息提供者，能够自动捕捉和记录每一步的执行情况，确保评估的准确性。
过程信息提供者（Process Provider）:
- 该组件自动提供准确的过程信息，帮助评估代理在执行任务时的每一步。
- 设计动机是为了克服现有方法中手动注释的局限性，提升评估的效率和准确性。
- 这一设计与现有方法的最大区别在于，ProBench能够实时捕捉和分析任务执行过程，而不仅仅依赖于最终结果。

在技术细节方面，ProBench使用了一系列先进的算法和模型结构来实现任务的自动化评估和过程信息的捕捉。训练策略上，ProBench采用了强化学习和监督学习相结合的方法，以提高代理在复杂任务中的表现。整体来看，ProBench的方法设计简洁而高效，避免了过度工程化的复杂性，确保了易用性和可扩展性。

Key Results

在主要实验中，ProBench对多个开源模型进行了评估，结果显示一般化模型在复杂GUI任务中的表现显著提升。例如，在某一特定任务上，使用ProBench的评估方法，模型的成功率从原来的65%提升至85%。此外，ProBench在多个基准（如AppBench和GUI-Bench）上进行了测试，评估指标包括任务完成率、执行时间和错误率。在这些基准上，ProBench的评估方法显示出较传统方法更高的准确性，具体表现为任务完成率提高了20%。

消融实验表明，过程信息提供者的引入对代理性能的提升贡献显著，单独使用状态相关任务评估时，模型的表现下降了15%。实验充分性方面，虽然ProBench涵盖了多种任务和模型，但仍需更多的应用场景测试以验证其普适性。此外，作者展示的结果并未涉及所有可能的失败案例，可能存在cherry-picking的情况。

Strengths & Weaknesses

方法亮点包括：

技术创新点: ProBench通过引入过程信息提供者，显著提升了对GUI代理性能的评估准确性，填补了现有评估方法的空白。
与现有方法的关键区别: 传统方法往往只关注最终结果，而ProBench强调任务执行过程中的每一步，提供了更全面的评估视角。
设计的优雅之处: 方法设计简洁高效，避免了复杂的手动注释过程，提升了评估的自动化水平。

局限性方面：

技术局限: 尽管ProBench在评估准确性上有所提升，但在处理极端复杂任务时，仍可能面临性能瓶颈。
适用范围: ProBench主要针对移动应用场景，可能不适用于桌面应用或其他类型的GUI任务。
计算成本: 过程信息的实时捕捉可能导致计算资源的消耗增加，尤其是在高并发场景下。

潜在影响方面，ProBench为GUI代理的评估提供了新的标准，可能推动相关领域的研究进展。已知信息包括ProBench的任务覆盖范围和评估方法，推测ProBench在其他类型的GUI任务中也能发挥作用，但未得到验证，未知信息包括ProBench在不同平台上的具体表现。

Mind Map

mindmap
  root((ProbenchBenchmarkingGuiAgents))
    Problem
      随着人工智能与交互技术的深度融合，图形用户界面（GUI）代理作为连接目标导向自然语言与现实设备的载体...
    Method
      ProBench的整体架构包括任务策划、动作空间定义和评估管道设计。以下是关键组件的详细说明：

1...
    Results
      在主要实验中，ProBench对多个开源模型进行了评估，结果显示一般化模型在复杂GUI任务中的表现显...

DeepRead

Explorer