SyncAnyone：プログレッシブ自己修正によるリップシンクの改善

この論文は、マスクベースのリップシンク手法が抱える、動的な顔の動き、顔の構造の安定性、背景の一貫性といった課題に対処しています。SyncAnyoneは、これらの問題を克服するために2段階の学習フレームワークを提案しています。第1段階では、拡散ベースのビデオトランスフォーマーを使用して正確な唇の動きの生成に焦点を当てています。第2段階では、第1段階で導入されたアーティファクトに対処することによりモデルを洗練させ、視覚的な品質、時間的な整合性、およびアイデンティティの保持を向上させています。これは、AIを活用したビデオダビングの分野における重要な進歩です。

• •改善されたリップシンクのための2段階学習フレームワークを提案。
• •マスクベースの手法の限界に対処し、視覚的品質と一貫性を向上。
• •正確な唇の動きの生成に拡散ベースのビデオトランスフォーマーを利用。
• •モデルを洗練させ、アーティファクトを削減するための自己修正段階を採用。
• •in-the-wildリップシンクシナリオで最先端の結果を達成。