オーディオ駆動型ビジュアルダビングのための自己ブートストラップフレームワーク

この論文は、既存のオーディオ駆動型ビジュアルダビング手法の限界に対処しています。これらの手法は、インペインティングに依存し、視覚的なアーティファクトやアイデンティティのずれに悩まされています。著者は、問題をビデオからビデオへの編集タスクとして再構成する、新しい自己ブートストラップフレームワークを提案しています。このアプローチは、拡散トランスフォーマーを利用して合成トレーニングデータを生成し、モデルが正確なリップの修正に集中できるようにします。タイムステップ適応型マルチフェーズ学習戦略と新しいベンチマークデータセットの導入は、この手法のパフォーマンスと評価をさらに向上させます。