EgoReAct：从以自我为中心的视频生成3D人类反应

本文解决了从以自我为中心的视频生成逼真的3D人类反应的挑战，这个问题对VR/AR和人机交互等领域具有重要意义。 创建一个新的、空间对齐的数据集（HRD）是一项关键贡献，因为现有数据集存在未对齐的问题。 提出的 EgoReAct 框架利用 Vector Quantised-Variational AutoEncoder 和 Generative Pre-trained Transformer，为这个问题提供了一种新颖的方法。 结合 3D 动态特征，如度量深度和头部动态，是增强空间定位和真实感的一项关键创新。 声称在保持因果关系的同时，提高了真实感、空间一致性和生成效率，这表明该领域取得了重大进展。

• •解决了从以自我为中心的视频生成 3D 人类反应的挑战。
• •引入 Human Reaction Dataset (HRD) 以解决数据稀缺和未对齐问题。
• •提出了 EgoReAct，一个用于实时 3D 反应生成的自回归框架。
• •结合 3D 动态特征（度量深度、头部动态）以改善空间定位。
• •与先前的方法相比，展示了改进的真实感、空间一致性和生成效率。