Refact Code LLM: 16亿参数代码LLM,HumanEval 达到 32%
分析
这篇文章重点介绍了专为代码生成设计的 16 亿参数语言模型 (LLM),在 HumanEval 基准测试中取得了 32% 的分数。这表明了针对编码任务的较小规模、专业化 LLM 的进展。 专注于 HumanEval 表明试图量化其相对于人类水平编码能力的性能。
引用 / 来源
查看原文"Refact Code LLM: 1.6B LLM for code that reaches 32% HumanEval"