AInsteinBench: 科学リポジトリにおけるコーディングエージェントのベンチマーク評価

この研究論文は、科学リポジトリを使用してコーディングエージェントを評価するために設計された新しいベンチマーク、AInsteinBenchを紹介しています。科学的なコーディングタスクにおけるAIの能力を評価するための標準化された方法を提供します。

• •AInsteinBenchは、AIコーディング能力を評価するための新しいベンチマークを提供します。
• •このベンチマークは科学リポジトリに焦点を当てており、評価に専門的な側面を追加します。
• •この研究は、AIコード生成評価のための標準化された方法に貢献しています。