InstructMoLE：命令誘導型エキスパートによる画像生成

この論文は、拡散トランスフォーマーを用いたマルチ条件画像生成の課題に取り組み、特にパラメータ効率の良いファインチューニングに焦点を当てています。LoRAやトークンレベルのMoLEルーティングといった既存手法の限界を特定し、アーティファクトが発生する可能性を指摘しています。主な貢献は、命令誘導型ルーティングを使用してエキスパートを選択し、グローバルなセマンティクスを保持し、画像品質を向上させるInstructMoLEフレームワークです。直交性損失の導入もパフォーマンスを向上させています。この論文の重要性は、命令駆動型画像生成における構成制御と忠実度を向上させる可能性にあります。

• •拡散トランスフォーマーの命令駆動型ファインチューニングのための新しいフレームワーク、InstructMoLEを提案。
• •セマンティックの一貫性を向上させるために、Instruction-Guided Routing (IGR) を採用。
• •エキスパートの多様性を促進するための出力空間直交性損失を導入。
• •マルチ条件画像生成ベンチマークで既存の手法を上回る性能。