使用小波变换探索Vision Transformer中的组合性

本文通过使用离散小波变换 (DWT) 创建依赖于输入的基元，来研究 Vision Transformer (ViT) 的组合性。它改编了来自语言任务的框架，以分析 ViT 编码器如何构建信息。DWT 的使用提供了一种理解 ViT 表示的新方法，表明 ViT 可以在其潜在空间中表现出组合行为。

• •将先前用于语言模型的组合性分析框架应用于 Vision Transformer。
• •利用离散小波变换 (DWT) 生成图像基元。
• •使用基于 DWT 的基元，在 ViT 潜在空间中发现了组合行为的证据。
• •提供了一种关于 ViT 如何构建视觉信息的新视角。