視覚Transformerのための近隣関係を考慮したトークン削減

Research Paper#Vision Transformers, Token Reduction, Computer Vision🔬 Research|分析: 2026年1月3日 16:21•
公開: 2025年12月28日 03:25
•
1分で読める
•ArXiv

分析

本論文は、冗長なトークン表現によるVision Transformer (ViT) の計算効率の問題に対処しています。既存のトークン削減方法では見過ごされがちな、空間的な連続性と近隣関係を保持するために、ヒルベルト曲線による並べ替えを用いた新しいアプローチを提案しています。Neighbor-Aware Pruning (NAP) と Merging by Adjacent Token similarity (MAT) の導入が主要な貢献であり、精度と効率のトレードオフの改善につながっています。この研究は、ViTの最適化における空間的コンテキストの重要性を強調しています。
引用・出典
原文を見る
"The paper proposes novel neighbor-aware token reduction methods based on Hilbert curve reordering, which explicitly preserves the neighbor structure in a 2D space using 1D sequential representations."
A
ArXiv2025年12月28日 03:25
* 著作権法第32条に基づく適法な引用です。
古い記事

It's OpenAI's world, we're just living in it

新しい記事

iTerm 3.5.1 removes automatic OpenAI integration, requires opt-in

関連分析

Research Paper

SpaceTimePilot：空間と時間の制御による生成ビデオレンダリング

2026年1月3日 06:10

Research Paper

量子カオスハミルトニアン進化におけるランダム性生成

2026年1月3日 06:10

Research Paper

GaMO：幾何学認識拡散を用いた疎視点3D再構成

2026年1月3日 06:32

原文: ArXiv