EgoReAct：主観視点動画からの3D人間反応生成

この論文は、VR/ARやヒューマンコンピュータインタラクションなどの分野に大きな影響を与える、主観視点動画から現実的な3D人間反応を生成するという課題に取り組んでいます。既存のデータセットには位置合わせのずれがあるため、新しい空間的に整合したデータセット（HRD）の作成は重要な貢献です。 Vector Quantised-Variational AutoEncoderとGenerative Pre-trained Transformerを活用した提案されたEgoReActフレームワークは、この問題に対する新しいアプローチを提供します。メトリック深度や頭部ダイナミクスなどの3Dダイナミック機能の組み込みは、空間的なグラウンディングとリアリズムを強化するための重要なイノベーションです。因果関係を維持しながら、リアリズム、空間的整合性、および生成効率が向上したという主張は、この分野における大きな進歩を示唆しています。