ByteLoom: 幾何学的に整合性のある人間とオブジェクトのインタラクション動画の生成

この論文は、デジタルヒューマンやロボティクスなどのアプリケーションにとって重要な、現実的な人間とオブジェクトのインタラクション（HOI）動画の生成における課題に取り組んでいます。主な貢献は、オブジェクトの幾何学的整合性を維持するためのRCMキャッシュメカニズムと、データ不足に対処し、詳細な手の注釈への依存を減らすためのプログレッシブカリキュラム学習アプローチです。幾何学的整合性と簡素化された人間の条件付けに焦点を当てることは、より実用的で堅牢なHOI動画生成に向けた重要な一歩です。

• •HOI動画生成のためのDiTベースのフレームワーク、ByteLoomを提案。
• •オブジェクトの幾何学的整合性を維持するためのRCMキャッシュメカニズムを導入。
• •データ不足に対処し、手のメッシュ注釈への依存を減らすためのプログレッシブカリキュラム学習アプローチを採用。
• •幾何学的に整合性のあるオブジェクトイラストレーションとスムーズなモーションを備えた動画の生成に焦点を当てています。