多模態学習における単純さ：複雑さへの挑戦

この論文は、多模態深層学習アーキテクチャにおける複雑さの増大という傾向に異議を唱えています。より単純で、適切に調整されたモデルが、より複雑なモデルよりも優れた性能を発揮することが多いと主張しています。特に、多様なデータセットとタスクにわたって厳密に評価した場合にそうです。著者は方法論的な厳密さの重要性を強調し、今後の研究のための実用的なチェックリストを提供しています。

• •複雑な多模態アーキテクチャが必ずしも優れた性能につながるわけではない。
• •公正な比較には、方法論的な厳密さとハイパーパラメータの調整が不可欠である。
• •シンプルなlate-fusion Transformer (SimBaMM) は強力なベースラインとなり得る。
• •この論文は、アーキテクチャの斬新さよりも方法論的な厳密さへのシフトを提唱している。