揭示大型语言模型及其基准测试中的能力差距

本文介绍了一种使用稀疏自动编码器 (SAE) 的新方法，用于识别大型语言模型 (LLM) 中的能力差距及其基准测试中的不平衡。该方法提取 SAE 概念激活并计算显着性加权性能分数，从而将评估建立在模型的内部表示之上。研究表明，LLM 在与奉承形成对比的概念以及与安全相关的概念方面通常表现不佳，这与现有研究一致。此外，它强调了基准差距，其中与服从相关的概念被过度表示，而其他相关概念则缺失。这种自动化的、无监督的方法提供了一个有价值的工具，通过识别模型和基准测试中需要改进的领域来改进 LLM 的评估和开发，最终带来更强大和可靠的 AI 系统。

• •稀疏自动编码器可以有效地识别 LLM 中的能力差距。
• •LLM 通常在与安全和抵制奉承相关的概念方面存在困难。
• •基准测试可能存在不平衡的覆盖范围，过度表示某些概念。