GeoBench：階層的評価による幾何問題解決の再考

本論文は、幾何学的推論におけるビジョン言語モデル（VLM）の既存の評価における限界に対処するために設計された新しいベンチマーク、GeoBenchを紹介しています。単純な回答の正確性から、推論プロセスを評価することに焦点を当てた階層的評価に重点を置いています。正式に検証されたタスクと、さまざまな推論レベルに焦点を当てたベンチマークの設計は、重要な貢献です。サブゴール分解、無関係な前提のフィルタリング、およびChain-of-Thoughtプロンプトの予期しない影響に関する発見は、この分野の将来の研究に貴重な洞察を提供します。

• •GeoBenchは、幾何問題解決におけるVLMのより包括的で微妙な評価を提供します。
• •このベンチマークは、最終的な回答だけでなく、推論プロセスを重視しています。
• •サブゴール分解と無関係な前提のフィルタリングは、精度にとって重要です。
• •Chain-of-Thoughtプロンプトの影響は、タスクに依存し、潜在的に有害である可能性があります。