自回归视频记忆压缩中的预训练帧保留

本文介绍了一种新的预训练方法（PFP），用于将长视频压缩成较短的上下文，重点是保留单个帧的高频细节。这很重要，因为它解决了在自回归模型中处理长视频序列的挑战，这对于视频生成和理解等应用至关重要。能够将 20 秒的视频压缩成大约 5k 长度的上下文，并保持感知质量，这是一个值得注意的成就。本文侧重于预训练及其在自回归视频模型中进行微调的潜力，这表明了一种改进视频处理能力的实用方法。