Just Image Transformer: ピクセル空間で実画像を予測するフローマッチングモデル

この記事では、Variational Autoencoder (VAE) を使用せずに、ピクセル空間で直接実画像を予測するように設計されたフローマッチングモデルであるJust Image Transformer (JiT)を紹介しています。 中核的な革新は、速度（v）ではなく実画像（x-pred）を予測することにあり、優れたパフォーマンスを達成しています。 ただし、損失関数は、実画像（x）とノイズ画像（z）から導き出された速度（v-loss）を使用して計算されます。 この記事は、Stable Diffusionのような拡散ベースの画像生成で普及しているU-Netベースのモデルからの移行を強調し、さらなる開発を示唆しています。

• •JiTは、ピクセル空間で直接動作するフローマッチングモデルです。
• •より良いパフォーマンスのために実画像（x-pred）を予測します。
• •損失関数は、実画像とノイズ画像から導き出された速度を使用して計算されます。