Gap-K%: 大規模言語モデルにおける事前学習データ検出のための革新的なアプローチ

この研究は、生成AIの大規模言語モデル（LLM）で使用された事前学習データを特定するための革新的な方法、Gap-K%を提案しています。この革新的なアプローチは、モデルのトップ1予測とターゲットトークンの間の対数確率ギャップを利用しており、データ検出において最先端のパフォーマンスを発揮します。

• •Gap-K%は、トップ1の予測とターゲットトークンの間の不一致に焦点を当てています。
• •ローカル相関を捉えるために、スライディングウィンドウ戦略を利用しています。
• •この方法は、ベンチマークデータセットで最先端のパフォーマンスを達成しています。