MegaRAG：マルチモーダル知識グラフに基づく検索拡張生成

この論文では、大規模言語モデルの推論能力を強化するために、マルチモーダル知識グラフを活用した検索拡張生成への新しいアプローチであるMegaRAGを紹介しています。主な革新は、知識グラフの構築、検索、および回答生成プロセスに視覚的な手がかりを組み込むことです。これにより、モデルはクロスモーダル推論を実行できるようになり、特に長文のドメイン固有のコンテンツのコンテンツ理解が向上します。実験結果は、MegaRAGがテキストおよびマルチモーダルコーパスの両方で既存のRAGベースのアプローチよりも優れていることを示しており、この分野における重要な進歩を示唆しています。このアプローチは、複雑なマルチモーダル情報を処理する際の従来のRAG法の制限に対処します。