LeanCat: Leanにおける圏論のベンチマーク

この論文は、Leanにおける形式的な圏論のベンチマークスイートであるLeanCatを紹介しています。これは、現代数学に不可欠な抽象的かつライブラリを介した推論における大規模言語モデル（LLM）の能力を評価するために設計されています。既存のベンチマークの限界に対処し、数学的構造の統一言語である圏論に焦点を当てています。構造的およびインターフェースレベルの推論に焦点を当てることで、形式的な定理証明におけるAIの進歩を評価するための貴重なツールとなっています。

• •LeanCat、Leanにおける形式的な圏論の新しいベンチマークを紹介。
• •現代数学に不可欠な抽象的かつライブラリを介した推論に焦点を当てる。
• •構造的およびインターフェースレベルの推論を実行するLLMの能力を評価。
• •AIと人間の進歩を追跡するためのコンパクトで再利用可能なチェックポイントを提供する。