CricBench：クリケット分析におけるLLMのベンチマーク

この論文は、クリケット分析の分野における大規模言語モデル（LLM）を評価するための専門的なベンチマークであるCricBenchを紹介しています。スポーツ分析におけるドメイン固有のニュアンス、複雑なスキーマのバリエーション、多言語の要件を処理するためのLLMの能力のギャップに対処しています。 'Gold Standard'データセットと多言語サポート（英語とヒンディー語）を含むベンチマークの作成は、重要な貢献です。最先端モデルの評価により、一般的なベンチマークでのパフォーマンスが専門分野での成功に繋がらないこと、およびコード混合ヒンディー語クエリが英語と同等以上のパフォーマンスを発揮し、プロンプト言語に関する仮定に異議を唱えることが明らかになりました。

• •CricBenchは、クリケット分析におけるLLMを評価するための新しいベンチマークです。
• •このベンチマークには、「ゴールドスタンダード」データセットが含まれており、英語とヒンディー語をサポートしています。
• •一般的なベンチマークでのパフォーマンスは、専門分野での成功を保証するものではありません。
• •コード混合ヒンディー語クエリは、英語と同等以上のパフォーマンスを発揮する可能性があります。