LLM预测中的前瞻偏差测试

本文介绍了一种新的统计测试，即“前瞻倾向性”（LAP），用于检测大型语言模型（LLM）生成的预测中的前瞻偏差。这很重要，因为前瞻偏差（模型在训练期间可以访问未来信息）可能导致夸大的准确性和不可靠的预测。本文的贡献在于提供了一种具有成本效益的诊断工具，用于评估LLM生成的预测的有效性，尤其是在经济背景下。使用预训练数据检测技术来估计提示出现在训练数据中的可能性的方法是创新的，并允许对潜在偏差进行定量测量。应用于股票回报和资本支出提供了该测试实用性的具体例子。

• •引入“前瞻倾向性”（LAP）作为量化前瞻偏差的指标。
• •提供了一种统计测试，用于检测LLM预测中的前瞻偏差。
• •提供了一种具有成本效益的诊断工具，用于评估LLM生成的预测的可靠性。
• •将测试应用于预测股票回报的新闻标题和预测资本支出的盈利电话记录。