新颖指标揭示LLM对齐洞见，用于价值观导向评估

这项研究介绍了一种评估大型语言模型 (LLM) 与人类价值观对齐的新颖方法，利用调查回复。 通过引入“自相关距离”指标，该研究提供了一种评估LLM回复一致性的强大方法，为更强大和可靠的评估框架铺平了道路。 这一进步有望改进我们理解和评估生成式人工智能的伦理影响的方式。

• •该研究探讨了当前使用社会调查评估大型语言模型的方法的局限性。
• •引入了一个新的指标“自相关距离”来评估LLM响应的一致性。
• •该研究提出了未来评估的最佳实践，包括思维链提示和基于抽样的解码。