GoogleのScreenAI：UIとインフォグラフィックス理解のためのビジョン言語モデル

この記事では、ユーザーインターフェース（UI）とインフォグラフィックスを理解し、対話するために設計された新しいビジョン言語モデルであるScreenAIを紹介しています。このモデルはPaLIアーキテクチャを基盤とし、柔軟なパッチ戦略を組み込んでいます。重要な革新は、Screen Annotationタスクであり、モデルがUI要素を識別し、大規模言語モデル（LLM）をトレーニングするための画面記述を生成できます。この記事では、ScreenAIがさまざまなUIベースおよびインフォグラフィックスベースのタスクで最先端のパフォーマンスを発揮し、質問に答え、UIをナビゲートし、情報を要約する能力を示していることを強調しています。モデルの比較的小さいサイズ（50億パラメータ）と強力なパフォーマンスは、ヒューマンマシンインタラクションのための効率的で効果的なビジョン言語モデルを構築するための有望なアプローチを示唆しています。

• •ScreenAIは、UIとインフォグラフィックスを理解するためのビジョン言語モデルです。
• •LLMのトレーニングデータ生成に新しいScreen Annotationタスクを使用します。
• •ScreenAIは、いくつかのUIおよびインフォグラフィックタスクで最先端の結果を達成しています。