MambaSeg: RGBとイベントデータを用いた効率的なセマンティックセグメンテーション

本論文は、Mambaエンコーダを用いてRGB画像とイベントストリームを融合する新しいフレームワークであるMambaSegを提案することにより、困難な条件下での従来のセマンティックセグメンテーション手法の限界に対処しています。効率性で知られるMambaの使用と、クロスモーダル融合のためのDual-Dimensional Interaction Module（DDIM）の導入が重要な貢献です。空間的および時間的融合の両方に焦点を当て、実証されたパフォーマンスの向上と計算コストの削減により、自律走行やロボット工学など、堅牢性と効率性が不可欠な分野において、マルチモーダル知覚の分野に貴重な貢献をしています。

• •新しいデュアルブランチセマンティックセグメンテーションフレームワークであるMambaSegを提案。
• •RGB画像とイベントストリームの効率的なモデリングにMambaエンコーダを採用。
• •クロスモーダル融合のためにDual-Dimensional Interaction Module（DDIM）を導入。
• •計算コストを削減しながら、最先端のセグメンテーション性能を達成。
• •困難な条件下での従来の方法の限界に対処。