Widget2Code：通过多模态LLM将可视化小部件转换为UI代码

本文介绍了一种名为Widget2Code的新方法，该方法使用多模态大型语言模型（MLLM）从可视化小部件生成UI代码。它解决了小部件到代码转换这一未被充分探索的领域，强调了与Web或移动UI相比，小部件的紧凑和无上下文性质所带来的挑战。本文提出了一个仅图像的小部件基准，并评估了通用MLLM的性能，揭示了它们在生成可靠且视觉上一致的代码方面的局限性。为了克服这些限制，作者提出了一种结合了感知理解和结构化代码生成的基线，其中结合了小部件设计原则和与框架无关的领域特定语言（WidgetDSL）。端到端基础设施WidgetFactory的引入进一步增强了该方法的实用性。