EgoReAct：主観視点動画からの3D人間反応生成

この論文は、VR/ARやヒューマンコンピュータインタラクションなどの分野に大きな影響を与える、主観視点動画から現実的な3D人間反応を生成するという課題に取り組んでいます。既存のデータセットには位置合わせのずれがあるため、新しい空間的に整合したデータセット（HRD）の作成は重要な貢献です。 Vector Quantised-Variational AutoEncoderとGenerative Pre-trained Transformerを活用した提案されたEgoReActフレームワークは、この問題に対する新しいアプローチを提供します。メトリック深度や頭部ダイナミクスなどの3Dダイナミック機能の組み込みは、空間的なグラウンディングとリアリズムを強化するための重要なイノベーションです。因果関係を維持しながら、リアリズム、空間的整合性、および生成効率が向上したという主張は、この分野における大きな進歩を示唆しています。

• •主観視点動画からの3D人間反応生成の課題に対処。
• •データ不足と位置合わせのずれに対処するために、Human Reaction Dataset (HRD) を導入。
• •リアルタイム3D反応生成のための自己回帰フレームワーク、EgoReActを提案。
• •空間的なグラウンディングを改善するために、3Dダイナミック機能（メトリック深度、頭部ダイナミクス）を組み込む。
• •従来のメソッドと比較して、リアリズム、空間的整合性、および生成効率が向上していることを実証。