RxnBench：科学論文からの化学反応理解におけるLLMの評価

本論文は、科学論文からの化学反応を理解する能力について、Multimodal Large Language Models (MLLMs) を評価するための新しいベンチマーク、RxnBenchを紹介しています。明示的なテキスト抽出能力は高いものの、深い化学的推論と構造認識能力には大きなギャップがあることを明らかにしています。Single-Figure QAとFull-Document QAを含む多層設計のベンチマークは、厳密な評価フレームワークを提供します。この結果は、AI化学の進歩のために、ドメイン固有のビジュアルエンコーダーと推論エンジンの改善が必要であることを強調しています。

• •RxnBenchは、化学反応理解におけるMLLMを評価するための新しいベンチマークです。
• •MLLMは、深い化学的論理と構造認識に苦労しています。
• •推論時の推論モデルは、標準的なアーキテクチャよりも優れています。
• •ドメイン固有のビジュアルエンコーダーと、より強力な推論エンジンが必要です。