Widget2Code：マルチモーダルLLMによるビジュアルウィジェットからUIコードへの変換

本論文では、マルチモーダル大規模言語モデル（MLLM）を使用して、ビジュアルウィジェットからUIコードを生成する新しいアプローチであるWidget2Codeを紹介しています。WebやモバイルUIと比較して、コンパクトでコンテキストフリーなウィジェットの性質によってもたらされる課題を強調し、未開拓のウィジェットからコードへの変換の領域に取り組んでいます。この論文では、画像のみのウィジェットベンチマークを提示し、汎用MLLMのパフォーマンスを評価し、信頼性が高く視覚的に一貫性のあるコードを生成する上での制限を明らかにしています。これらの制限を克服するために、著者は、ウィジェットの設計原則とフレームワークに依存しないドメイン固有言語（WidgetDSL）を組み込んだ、知覚的理解と構造化されたコード生成を組み合わせたベースラインを提案しています。エンドツーエンドのインフラストラクチャであるWidgetFactoryの導入により、アプローチの実用性がさらに向上します。

• •ビジュアルウィジェットからUIコードを生成するためのWidget2Codeを紹介。
• •ウィジェットの性質により、ウィジェットからコードへの変換の課題を強調。
• •知覚的理解と構造化されたコード生成を組み合わせたベースラインを提案。