韓国語法解釈LLMベンチマーク

この論文は、韓国語のLLMの法的推論能力を評価するために設計された新しいベンチマーク、KCLを紹介しています。主な貢献は、質問レベルの支持判例を通じて実現された、知識に依存しない評価に焦点を当てていることです。これにより、事前知識とは別に、推論スキルをより正確に評価できます。ベンチマークの2つのコンポーネント、KCL-MCQAとKCL-Essayは、多肢選択式と自由記述式の質問形式の両方を提供し、包括的な評価を提供します。データセットと評価コードのリリースは、研究コミュニティへの貴重な貢献です。

• •LLMの法的推論を評価するための韓国語標準法的ベンチマーク（KCL）を紹介。
• •質問レベルの支持判例を使用して、知識に依存しない評価に焦点を当てています。
• •多肢選択式（KCL-MCQA）と自由記述式（KCL-Essay）の両方の質問形式が含まれています。
• •既存のモデル、特に自由記述式のタスクにおけるパフォーマンスギャップを示しています。
• •推論に特化したモデルの優れたパフォーマンスを強調しています。