CLIP-Joint-Detect：視覚言語の教師あり学習による物体検出の強化

この論文は、CLIPに着想を得たコントラスト視覚言語教師あり学習を活用した物体検出の新しいアプローチ、CLIP-Joint-Detectを紹介しています。主な革新は、CLIPスタイルのコントラスト学習を物体検出器のトレーニングプロセスに直接統合することです。これは、領域の特徴をCLIP埋め込み空間に投影し、学習可能なテキスト埋め込みと整合させることによって実現されます。この論文は、さまざまな検出器アーキテクチャとデータセット全体で一貫したパフォーマンスの向上を示しており、クラスの不均衡やラベルノイズなどの問題に対処する上で、この共同トレーニング戦略の有効性を示唆しています。リアルタイムの推論速度を維持することに焦点を当てていることも、重要な実用的な考慮事項です。

• •物体検出のための新しいフレームワーク、CLIP-Joint-Detectを提案。
• •CLIPスタイルのコントラスト視覚言語教師あり学習を統合。
• •さまざまなアーキテクチャとデータセット全体で一貫したパフォーマンスの向上を実現。
• •リアルタイムの推論速度を維持。