FlashLips: 再構成アプローチによる、高速・マスクフリーのリップシンク技術

本研究は、計算負荷の高い拡散モデルやGANベースの手法から脱却し、リップシンク生成における新たなアプローチを提示しています。再構成に焦点を当てることで、リアルタイムまたはほぼリアルタイムのリップシンクアプリケーションの実現が期待できます。

• •FlashLipsは、拡散モデルやGANとは異なる再構成ベースのアプローチを採用しています。
• •システムは毎秒100フレーム（FPS）のパフォーマンスを実現しています。
• •本手法はマスクフリーであり、より自然なリップシンク結果が得られます。