Refact Code LLM: コード生成LLM、HumanEvalで32%を達成

この記事は、コード生成に特化した16億パラメータの言語モデル（LLM）が、HumanEvalベンチマークで32％のスコアを達成したことを強調しています。これは、コーディングタスク向けの小規模で専門的なLLMの進歩を示唆しています。HumanEvalに焦点を当てることで、人間レベルのコーディング能力に対するパフォーマンスを定量化しようとしていることがわかります。