OmniAgent: 音频引导的活动感知，用于音频-视频理解

本文介绍了OmniAgent，这是一种用于音频-视觉理解的新方法，它从被动响应生成转向主动多模态查询。它通过采用动态规划和粗到精的音频引导感知范式来解决现有全模态模型的局限性。该智能体战略性地使用专业工具，侧重于与任务相关的线索，从而在基准数据集上实现了显著的性能提升。

• •OmniAgent是一个用于音频-视频理解的活动感知智能体。
• •它使用动态规划和音频线索进行细粒度的推理。
• •该方法在基准测试中实现了最先进的性能。