EasyOmnimatte：事前学習済みインペインティング拡散モデルを用いたエンドツーエンドのビデオレイヤー分解

本論文は、事前学習済みのビデオインペインティング拡散モデルを利用した、新しいエンドツーエンドのビデオオムニマット手法であるEasyOmnimatteを紹介しています。既存の手法の限界を克服し、前景と関連効果の両方を効率的に捉えます。重要な革新は、LoRAを拡散モデルの特定のブロックに選択的に適用して効果関連の手がかりを捉えるデュアルエキスパート戦略にあり、既存のアプローチと比較して品質と効率が向上しています。

• •EasyOmnimatteは、新しいエンドツーエンドのビデオオムニマット手法です。
• •事前学習済みのビデオインペインティング拡散モデルを利用しています。
• •この手法は、選択的なLoRA適用による「デュアルエキスパート」戦略を使用しています。
• •ビデオオムニマットにおいて最先端のパフォーマンスを達成しています。
• •このアプローチは、既存の手法よりも効率的です。