JavisGPT：用于声音-视频理解和生成的统一多模态LLM

本文介绍了JavisGPT，一种新型的多模态大型语言模型（MLLM），旨在用于联合音频-视频（JAV）理解和生成。其重要性在于其统一的架构、用于时空融合的SyncFusion模块，以及使用可学习查询连接到预训练的生成器。创建包含超过20万个对话的大型指令数据集（JavisInst-Omni）对于训练和评估模型的能力至关重要。本文的贡献在于推进了从音频和视频输入理解和生成内容的最新技术，特别是在复杂和同步的场景中。

• •JavisGPT 是第一个用于联合音频-视频理解和生成的统一 MLLM。
• •它使用 SyncFusion 模块进行时空音频-视频融合。
• •创建了一个大型指令数据集 (JavisInst-Omni) 以支持训练。
• •JavisGPT 在 JAV 基准测试中表现出色。