InstructMoLE：命令誘導型エキスパートによる画像生成
分析
この論文は、拡散トランスフォーマーを用いたマルチ条件画像生成の課題に取り組み、特にパラメータ効率の良いファインチューニングに焦点を当てています。LoRAやトークンレベルのMoLEルーティングといった既存手法の限界を特定し、アーティファクトが発生する可能性を指摘しています。主な貢献は、命令誘導型ルーティングを使用してエキスパートを選択し、グローバルなセマンティクスを保持し、画像品質を向上させるInstructMoLEフレームワークです。直交性損失の導入もパフォーマンスを向上させています。この論文の重要性は、命令駆動型画像生成における構成制御と忠実度を向上させる可能性にあります。
重要ポイント
引用・出典
原文を見る"InstructMoLE utilizes a global routing signal, Instruction-Guided Routing (IGR), derived from the user's comprehensive instruction. This ensures that a single, coherently chosen expert council is applied uniformly across all input tokens, preserving the global semantics and structural integrity of the generation process."