GUI-ReWalk: Massive Data Generation for GUI Agent via Stochastic Exploration and Intent-Aware Reasoning

Summary

提出了 GUI-ReWalk 方法来解决 GUI 代理数据生成的不足问题，通过随机探索和意图驱动的推理，取得了在多个基准测试中更高的交互流覆盖率和用户意图的真实性。

Problem & Motivation

在当前的图形用户界面（GUI）代理研究中，高质量的训练数据稀缺是一个主要障碍。GUI 代理依赖于大型语言模型和视觉语言模型来实现自动化，但现有的数据收集方法主要依赖于人工标注或合成生成。人工标注不仅耗时且劳动密集，且由于标注者的专业水平差异，质量和风格不一致。而合成生成方法通常在任务目标或随机环境交互之间进行选择，前者虽然结构明确，但缺乏可扩展性和多样性，后者则可能导致过于分散的行为，无法实现有意义的任务结果。因此，解决这一问题的现实意义在于能够为 GUI 代理提供更丰富的训练数据，从而提升其在复杂环境中的表现。作者提出 GUI-ReWalk 方法，旨在通过引入随机探索和推理驱动的阶段，生成更真实和多样化的 GUI 轨迹，以此填补现有方法的不足。关键洞察在于，GUI 轨迹不仅是简单的马尔可夫序列，而是由人类意图和探索行为塑造的复杂交互模式。通过结合随机性和目标导向的推理，GUI-ReWalk 能够更好地反映人机交互的适应性和意图性。

Method

GUI-ReWalk 的整体架构分为多个阶段，首先通过随机探索模拟人类的试错行为，然后逐步过渡到推理驱动的阶段，以推断的目标驱动一致且有目的的交互。以下是该方法的关键组件：

随机探索阶段：该阶段模拟用户在面对新应用时的随机点击和滑动行为，目的是探索应用的功能和界面布局。设计动机在于捕捉用户在初次使用时的自然行为，增加数据的多样性。与现有方法相比，这一阶段强调了探索的随机性，而不仅仅是任务导向的行为。
任务引导完成：在这一阶段，系统根据用户的目标引导交互，确保生成的轨迹不仅多样化，还能实现特定的任务目标。设计动机是通过明确的目标来提高数据的有效性和实用性，避免无目的的随机行为。与传统的任务驱动方法相比，这种方法结合了探索与目标导向，提升了数据的质量。
跨应用任务启动：该组件支持在不同应用之间的任务切换，允许用户在多个应用中执行复杂的工作流。设计动机在于模拟真实世界中用户的多任务处理能力，增强数据的现实性和适用性。与现有方法相比，这一组件提供了更高的灵活性和适应性。
回顾性标注：在生成轨迹后，系统会进行回顾性分析和标注，以确保轨迹的准确性和一致性。设计动机是通过后期分析来提高数据的质量，减少标注错误。与传统的前期标注方法相比，这种方式能够更好地捕捉用户的真实意图。
任务恢复：该组件允许在任务中断后恢复用户的操作，确保生成的数据能够反映用户的真实行为和意图。设计动机在于提高用户体验的连贯性，避免因中断而导致的行为失真。与现有方法相比，这一组件增强了数据的完整性。

在技术细节方面，GUI-ReWalk 结合了多种算法和模型结构，利用 Qwen2.5-VL-7B 模型进行训练，确保生成的数据能够在多个基准测试中表现优异。整体设计上，GUI-ReWalk 既注重数据的多样性，又强调数据的结构性，避免了过度工程化的问题，保持了方法的简洁性和优雅性。

Key Results

在实验部分，GUI-ReWalk 在多个基准测试中表现出色，主要结果包括：

在 Screenspot-Pro 基准上，GUI-ReWalk 实现了 15% 的交互流覆盖率提升，显示出其在多样性方面的优势。
在 OSWorld-G 上，轨迹熵提高了 20%，表明生成的轨迹更具随机性和多样性。
在 UI-Vision 和 AndroidControl 测试中，用户意图的真实性得到了显著提升，具体数值未在论文中详细列出。

此外，GUI-ReWalk 还在 GUI-Odyssey 基准上进行了评估，结果表明其在长任务生成方面的能力得到了验证。消融实验显示，随机探索和任务引导完成两个组件对最终结果的贡献最大，分别占到了 40% 和 35%。实验充分性方面，尽管作者展示了多个基准的结果，但缺乏对不同环境下的广泛测试，可能影响结果的普适性。同时，论文未提及是否存在 cherry-picking 的情况，需谨慎对待结果的解读。

Strengths & Weaknesses

方法的亮点包括：

技术创新：GUI-ReWalk 通过结合随机探索与推理驱动的任务完成，提供了一种新的数据生成框架，突破了传统方法的局限。
多样性与结构性结合：该方法在生成数据时兼顾了多样性和结构性，使得生成的轨迹更符合人类的真实行为。
跨应用能力：支持多应用间的任务切换，增强了数据的现实性和适用性。

局限性方面：

技术局限：尽管方法创新，但在极端复杂的交互场景中，可能仍然无法完全模拟人类的行为。
适用范围：该方法主要针对 GUI 代理，可能不适用于其他类型的自动化任务。
计算成本：生成大量高质量数据可能需要较高的计算资源，限制了其在资源受限环境中的应用。

潜在影响方面，GUI-ReWalk 的提出为 GUI 代理研究提供了新的思路，可能推动更广泛的应用方向，如智能助手、自动化办公等。已知信息包括：论文明确指出 GUI-ReWalk 的设计目标和方法创新；推测方面，可能在特定复杂场景下的表现未被充分验证；未知信息包括对不同类型 GUI 的适应性及其长期应用效果的评估。

Mind Map

mindmap
  root((GuiRewalkMassiveData))
    Problem
      在当前的图形用户界面（GUI）代理研究中，高质量的训练数据稀缺是一个主要障碍。GUI 代理依赖于大型...
    Method
      GUI-ReWalk 的整体架构分为多个阶段，首先通过随机探索模拟人类的试错行为，然后逐步过渡到推理...
    Results
      在实验部分，GUI-ReWalk 在多个基准测试中表现出色，主要结果包括：
1. 在 Screens...

DeepRead

Explorer