SyncAnyone：プログレッシブ自己修正によるリップシンクの改善

この論文は、マスクベースのリップシンク手法が抱える、動的な顔の動き、顔の構造の安定性、背景の一貫性といった課題に対処しています。SyncAnyoneは、これらの問題を克服するために2段階の学習フレームワークを提案しています。第1段階では、拡散ベースのビデオトランスフォーマーを使用して正確な唇の動きの生成に焦点を当てています。第2段階では、第1段階で導入されたアーティファクトに対処することによりモデルを洗練させ、視覚的な品質、時間的な整合性、およびアイデンティティの保持を向上させています。これは、AIを活用したビデオダビングの分野における重要な進歩です。