KV-Tracker: Transformerを用いたリアルタイム姿勢追跡

本論文は、リアルタイムアプリケーションにおけるマルチビュー3Dジオメトリネットワークの計算上のボトルネックに対処しています。 KV-Trackerと呼ばれる、Transformerアーキテクチャ内でキーバリュー（KV）キャッシングを利用して、単眼RGBビデオからの6自由度姿勢追跡とオンライン再構成において大幅な高速化を実現する新しい方法を提案しています。キャッシング戦略のモデルに依存しない性質は大きな利点であり、再訓練なしで既存のマルチビューネットワークに適用できます。リアルタイムパフォーマンスに焦点を当て、深度測定やオブジェクト事前知識なしでオブジェクト追跡や再構成などの困難なタスクを処理できる能力は、重要な貢献です。

• •リアルタイム6自由度姿勢追跡とオンライン再構成のためのKV-Trackerを提案。
• •高速化のために、Transformerアーキテクチャ内でキーバリュー（KV）キャッシングを利用。
• •推論中に最大15倍の高速化を実現。
• •モデルに依存しないキャッシングにより、既存のマルチビューネットワークへの適用が可能。
• •深度や事前知識なしでのオブジェクト追跡を含む、さまざまなデータセットで強力なパフォーマンスを実証。