PACIFIC: 用于验证代码中精确指令遵循的基准测试生成框架

这项研究介绍了 PACIFIC，一个旨在创建基准测试的框架，用于评估 AI 模型在代码中遵循指令的程度。 关注精确的指令遵循对于构建可靠和值得信赖的 AI 系统至关重要。

• •PACIFIC 提供了一种严格测试 AI 模型理解和执行基于代码的指令的能力的方法。
• •该框架侧重于自动化检查，确保了对指令遵循的客观评估。
• •这项工作有助于开发更可靠、更强大的 AI 编码能力。