低遅延のリアルタイム双方向トーキングヘッド生成

この論文は、現実的なリスナーフィードバックに不可欠な、現実的な双方向トーキングヘッドビデオ生成における重要な遅延の問題に対処しています。著者は、話者と聞き手の両方の音声からリアルタイムでビデオを生成するために設計された、フローマッチングベースの自己回帰モデルであるDyStreamを提案しています。主な革新は、ストリームフレンドリーな自己回帰フレームワークと、品質と遅延のバランスを取るためのルックアヘッドモジュールを備えた因果エンコーダーにあります。この論文の重要性は、より自然でインタラクティブな仮想コミュニケーションを可能にする可能性にあります。

• •双方向トーキングヘッド生成における高遅延の問題に対処。
• •フローマッチングベースの自己回帰モデルであるDyStreamを提案。
• •ストリームフレンドリーな自己回帰フレームワークと、ルックアヘッドモジュールを備えた因果エンコーダーを採用。
• •低遅延（100ミリ秒未満）でのリアルタイムビデオ生成を実現。
• •最先端のリップシンク品質を実証。