合成自举预训练
分析
本文介绍了合成自举预训练 (SBP)，这是一种由 Apple ML 开发的新型语言模型预训练方法。 SBP 旨在通过对文档间相关性进行建模来提高语言模型的性能，而标准预训练方法通常会忽略这种相关性。其核心思想是首先学习文档之间关系的模型，然后使用它来生成更大的合成语料库以进行联合训练。这种方法旨在捕捉数据中更丰富、更复杂的关系，从而可能产生更有效的语言模型。本文强调了 SBP 通过利用文档间关系来提高模型性能的潜力。
引用 / 来源
查看原文"While the standard pretraining teaches LMs to learn causal correlations among tokens within a single document, it is not designed to efficiently model the rich, learnable inter-document correlations that can potentially lead to better performance."