ビジョン言語モデルのファインチューニングの再考

この論文は、ビジョン言語モデル（VLM）のファインチューニングに対する新しいアプローチとして、Mask Fine-Tuning（MFT）を紹介しています。MFTは、重みを更新する代わりに、学習可能なゲーティングスコアを割り当てることでモデルを再パラメータ化し、内部サブネットワークを再編成できるようにします。主な貢献は、MFTがLoRAや完全なファインチューニングなどの従来のメソッドよりも優れており、凍結されたバックボーンを変更することなく高いパフォーマンスを達成できることを実証している点です。これは、モデルの既存の知識内の接続を再確立することによって効果的な適応が達成できることを示唆しており、より効率的で、潜在的に破壊的でないファインチューニング戦略を提供しています。

• •ビジョン言語モデル（VLM）向けにMask Fine-Tuning（MFT）を提案。
• •MFTは、重みの更新ではなく、学習可能なゲーティングスコアを使用してモデルを再パラメータ化します。
• •LoRAや完全なファインチューニングと比較して優れたパフォーマンスを実証。
• •効果的な適応のために、既存のモデル知識内の接続を再確立することの重要性を強調。
• •より効率的で、潜在的に破壊的でないファインチューニングアプローチを提供。