Gap-K%: 一种检测大型语言模型预训练数据的新方法

这项研究提出了一种开创性的方法 Gap-K%，用于识别生成式人工智能大型语言模型 (LLM) 中使用的预训练数据。这种创新方法利用了模型的前 1 预测与目标标记之间的对数概率差距，从而在数据检测方面实现了最先进的性能。

• •Gap-K% 侧重于前 1 预测和目标标记之间的差异。
• •它利用滑动窗口策略来捕捉局部相关性。
• •该方法在基准数据集上实现了最先进的性能。