LiveTalk：改善された蒸留によるリアルタイムインタラクティブビデオ生成

この論文は、汎用的なマルチモーダルAIシステム構築に不可欠なリアルタイムインタラクティブビデオ生成の課題に取り組んでいます。既存の手法の限界、特にマルチモーダル条件付け（テキスト、画像、音声）を扱う際の限界を克服するために、オンポリシー蒸留技術の改善に焦点を当てています。この研究は、計算コストの高い拡散モデルとリアルタイムインタラクションの必要性の間のギャップを埋め、より自然で効率的な人間とAIのインタラクションを可能にすることを目指しているため、重要です。条件入力の品質と最適化スケジュールの改善に焦点を当てている点が、この論文の重要な貢献です。

• •リアルタイムマルチモーダルインタラクティブアバターシステムLiveTalkを提案。
• •マルチモーダル条件付けでのパフォーマンス向上のために、オンポリシー蒸留を改善。
• •ベースラインモデルと比較して、推論コストとレイテンシを大幅に削減。
• •マルチターンビデオの整合性とコンテンツ品質において、最先端モデルを上回る。