ARM: CLIPベースのオープンボキャブラリーセマンティックセグメンテーションの強化

この論文は、CLIPベースのオープンボキャブラリーセマンティックセグメンテーションの性能を向上させるために設計された、軽量で学習可能なモジュールであるAttention Refinement Module (ARM)を紹介しています。主な貢献は、「一度学習すればどこでも使える」というパラダイムであり、プラグアンドプレイのポストプロセッサとして機能します。これは、CLIPの粗い画像レベル表現の限界に対応するために、階層的な特徴を適応的に融合し、ピクセルレベルの詳細を洗練させることで実現しています。この論文の重要性は、その効率性と有効性にあり、コンピュータビジョンの困難な問題に対する計算コストの低い解決策を提供しています。

• •CLIPベースのオープンボキャブラリーセマンティックセグメンテーションを改善するための、軽量で学習可能なモジュールであるARMを提案。
• •ARMは「一度学習すればどこでも使える」というパラダイムを使用し、プラグアンドプレイのポストプロセッサとして機能。
• •ピクセルレベルの詳細を洗練させることで、CLIPの粗い画像レベル表現の限界に対応。
• •複数のベンチマークで、無視できる程度の推論オーバーヘッドで性能が向上していることを実証。