VideoZoomer: 用于长视频理解的动态时间聚焦

本文介绍了VideoZoomer，一个解决多模态大型语言模型（MLLMs）在长视频理解方面局限性的新框架。通过强化学习代理实现动态时间聚焦，VideoZoomer克服了有限上下文窗口和静态帧选择的限制。结合监督微调和强化学习的两阶段训练策略是该方法的一个关键方面。结果表明，VideoZoomer在性能上优于现有模型，突出了所提出方法的有效性。

• •解决了MLLMs在长视频理解中的上下文窗口限制。
• •提出了VideoZoomer，一个用于动态时间聚焦的框架。
• •采用了两阶段训练策略：监督微调和强化学习。
• •在长视频理解基准测试中，实现了对现有模型的显著性能提升。
• •在减少帧预算的情况下，表现出卓越的效率。