KV-Tracker: 基于Transformer的实时姿态跟踪

本文解决了多视图3D几何网络在实时应用中的计算瓶颈问题。它介绍了KV-Tracker，这是一种新方法，利用Transformer架构内的键值（KV）缓存，在单目RGB视频的6自由度姿态跟踪和在线重建中实现显著加速。缓存策略的与模型无关的特性是一个关键优势，允许在不重新训练的情况下应用于现有的多视图网络。本文侧重于实时性能，以及在没有深度测量或对象先验的情况下处理对象跟踪和重建等具有挑战性的任务的能力，是重要的贡献。

• •提出了KV-Tracker，一种用于实时6自由度姿态跟踪和在线重建的方法。
• •在Transformer架构内利用键值（KV）缓存以实现加速。
• •在推理期间实现高达15倍的加速。
• •与模型无关的缓存允许应用于现有的多视图网络。
• •在各种数据集上表现出色，包括在没有深度或先验的情况下进行对象跟踪。