TV-RAG：基于时序和语义感知的长视频理解

本文解决了大型视频语言模型 (LVLM) 在处理长视频方面的局限性。它提出了一种无需训练的架构 TV-RAG，通过结合时间对齐和熵引导语义来改进长视频推理。主要贡献包括一个时间衰减检索模块和一个熵加权关键帧采样器，为现有 LVLM 提供了轻量级且经济实惠的升级路径。本文的意义在于它能够在不重新训练的情况下提高长视频基准测试的性能，为增强视频理解能力提供了实用的解决方案。

• •提出了 TV-RAG，一种用于长视频理解的无需训练的架构。
• •采用时间衰减检索模块进行时间对齐。
• •利用熵加权关键帧采样器进行语义感知。
• •为现有 LVLM 提供了轻量级且经济实惠的升级路径。
• •在长视频基准测试中实现了最先进的性能。