ストリーミング拡散モデルによるリアルタイムインタラクティブヒューマンアバター

この論文は、デジタルヒューマン研究における重要な分野である、リアルタイムインタラクティブヒューマンアバターの作成という課題に取り組んでいます。計算コストが高くストリーミングに適さない既存の拡散ベースの手法と、現在のインタラクティブアプローチの制限に対処しています。提案された2段階のフレームワークは、自己回帰適応と加速を組み込み、Reference SinkやConsistency-Aware Discriminatorなどの新しいコンポーネントを使用して、自然なジェスチャーと振る舞いを持つ高忠実度のアバターをリアルタイムで生成することを目指しています。この論文の重要性は、より魅力的で現実的なデジタルヒューマンインタラクションを可能にする可能性にあります。

• •リアルタイムアプリケーションにおける既存の拡散ベースのアバター生成方法の制限に対処。
• •効率的で高品質なアバター生成のための新しい2段階フレームワークを提案。
• •安定性と一貫性を確保するために、Reference SinkやConsistency-Aware Discriminatorなどの主要コンポーネントを導入。
• •生成品質、リアルタイム効率、およびインタラクションの自然さにおいて、最先端のパフォーマンスを達成。