新基准评估大型语言模型的自我认知

这篇ArXiv文章介绍了一个新的基准测试Kalshibench，专注于使用预测市场评估大型语言模型 (LLMs) 的认知校准。 这是一个关键的研究领域，考察了 LLMs 对自身局限性和不确定性的理解程度。

• •Kalshibench 提供了一种评估 LLMs 了解其知识边界的新方法。
• •预测市场的使用允许对不确定性进行量化评估。
• •这项研究对于提高 LLMs 的可靠性和可信度具有意义。