検索拡張とモダリティギャップ補正によるテキストのみの画像キャプション生成

この研究は、テキストのみのトレーニングを使用した画像キャプション生成に関する革新的な方法を模索しており、画像とテキストのペアデータへの依存度を大幅に削減できる可能性があります。 検索拡張とモダリティギャップ補正に焦点を当てていることから、キャプションの精度と堅牢性の向上が期待できます。

• •テキストのみのトレーニングの使用を調査し、画像データセットへの依存度を軽減する可能性。
• •キャプションの品質を向上させるために検索拡張を採用。
• •テキストと画像表現間のモダリティギャップに対処。