JavisGPT：音声・動画理解と生成のための統合型MLLM

本論文は、音声と動画の共同理解と生成を目的とした、新しいマルチモーダル大規模言語モデル（MLLM）であるJavisGPTを紹介しています。その重要性は、統合アーキテクチャ、時空間融合のためのSyncFusionモジュール、および事前学習済みのジェネレーターに接続するための学習可能なクエリの使用にあります。20万件以上の対話を含む大規模な命令データセット（JavisInst-Omni）の作成は、モデルの能力を訓練し評価するために不可欠です。本論文の貢献は、特に複雑で同期されたシナリオにおいて、音声と動画の両方の入力からコンテンツを理解し生成する分野の最先端技術を進歩させることにあります。

• •JavisGPTは、音声と動画の共同理解と生成のための最初の統合型MLLMです。
• •時空間オーディオビデオ融合のためにSyncFusionモジュールを使用しています。
• •トレーニングをサポートするために、大規模な命令データセット（JavisInst-Omni）が作成されました。
• •JavisGPTは、JAVベンチマークで優れたパフォーマンスを示しています。