iMiGUEデータセットにおけるマイクロジェスチャーと感情認識のためのマルチモーダル学習

この論文は、マルチモーダル学習を用いて、マイクロジェスチャー認識と行動ベースの感情予測という困難な課題に取り組んでいます。ビデオと骨格ポーズデータを利用し、マイクロジェスチャー分類にはRGBと3Dポーズ情報を統合し、感情認識には顔とコンテキストの埋め込みを使用しています。この研究の重要性は、iMiGUEデータセットへの適用と、MiGA 2025 Challengeでの競争力のあるパフォーマンス、特に感情予測で2位を獲得したことにあります。この論文は、微妙な人間の行動を捉えるためのクロスモーダル融合技術の有効性を強調しています。