LLM予測における先見性バイアスのテスト

この論文は、大規模言語モデル（LLM）によって生成された予測における先見性バイアスを検出するための新しい統計的テスト、Lookahead Propensity（LAP）を紹介しています。これは、モデルがトレーニング中に将来の情報にアクセスできる先見性バイアスが、誇張された精度と信頼性の低い予測につながる可能性があるため、重要です。この論文の貢献は、LLMによって生成された予測、特に経済的文脈における予測の有効性を評価するための費用対効果の高い診断ツールを提供することにあります。トレーニングデータにプロンプトが出現する可能性を推定するために事前トレーニングデータ検出技術を使用するという方法は革新的であり、潜在的なバイアスの定量的測定を可能にします。株価収益率と設備投資への応用は、テストの有用性の具体的な例を提供します。

• •先見性バイアスを定量化するための指標として、Lookahead Propensity（LAP）を紹介。
• •LLM予測における先見性バイアスを検出するための統計的テストを提供。
• •LLMによって生成された予測の信頼性を評価するための費用対効果の高い診断ツールを提供。
• •株価収益率を予測するニュースの見出しと、設備投資を予測する決算説明会トランスクリプトにテストを適用。