ShowUI-$π$: GUI操作のためのフローベース生成モデル

この論文は、フローベースの生成モデルを使用したGUIエージェント制御のための新しいアプローチ、ShowUI-$π$を紹介しています。離散的なクリック予測に依存する既存のエージェントの限界に対処し、ドラッグなどの連続的でクローズドループの軌道を可能にします。この研究の重要性は、革新的なアーキテクチャ、新しいベンチマーク（ScreenDrag）の作成、および既存の独自のエージェントと比較して優れたパフォーマンスを示していることにあり、デジタル環境におけるより人間らしいインタラクションの可能性を強調しています。

• •GUI制御のためのフローベース生成モデル、ShowUI-$π$を提案。
• •柔軟なインタラクションのための統合された離散-連続アクション空間を導入。
• •スムーズなドラッグ軌跡のために、フローベースのアクション生成を採用。
• •GUIエージェントのドラッグ能力を評価するための新しいベンチマーク、ScreenDragを作成。
• •既存の独自のエージェントと比較して優れたパフォーマンスを実証。