基于邻居感知的视觉Transformer令牌缩减

Research Paper#Vision Transformers, Token Reduction, Computer Vision🔬 Research|分析: 2026年1月3日 16:21•
发布: 2025年12月28日 03:25
•
1分で読める
•ArXiv

分析

本文解决了由于冗余令牌表示导致视觉Transformer (ViT) 的计算效率问题。它提出了一种新方法，使用希尔伯特曲线重新排序来保留空间连续性和邻居关系，而这些通常被现有的令牌缩减方法所忽略。引入邻居感知修剪 (NAP) 和相邻令牌相似度合并 (MAT) 是关键贡献，从而提高了精度和效率的权衡。这项工作强调了空间上下文在 ViT 优化中的重要性。
引用 / 来源
查看原文
"The paper proposes novel neighbor-aware token reduction methods based on Hilbert curve reordering, which explicitly preserves the neighbor structure in a 2D space using 1D sequential representations."
A
ArXiv2025年12月28日 03:25
* 根据版权法第32条进行合法引用。
较旧

It's OpenAI's world, we're just living in it

较新

iTerm 3.5.1 removes automatic OpenAI integration, requires opt-in

相关分析

Research Paper

SpaceTimePilot：时空控制的生成视频渲染

2026年1月3日 06:10

Research Paper

量子混沌哈密顿量演化下的随机性生成

2026年1月3日 06:10

Research Paper

GaMO：几何感知扩散用于稀疏视角3D重建

2026年1月3日 06:32

来源: ArXiv