ソフトウェアエンジニアリングにおけるAIエージェント評価のための人間中心フレームワーク

この論文は、コードの正確性から協調的知性へと焦点を移すことで、AI評価における重要なギャップに対処しています。現在のベンチマークは、ソフトウェアエンジニアのパートナーとして機能するAIエージェントの評価には不十分であると認識しています。望ましいエージェントの行動の分類とContext-Adaptive Behavior (CAB) Frameworkを含む、この論文の貢献は、ソフトウェアエンジニアリングの文脈におけるAIエージェントのパフォーマンスを評価するための、よりニュアンスに富み、人間中心のアプローチを提供します。これは、単に正しいコードを生成する能力だけでなく、現実世界の協調的なシナリオにおけるAIエージェントの有効性を評価することに、この分野を移行させるため重要です。