合成自举预训练

本文介绍了合成自举预训练 (SBP)，这是一种由 Apple ML 开发的新型语言模型预训练方法。 SBP 旨在通过对文档间相关性进行建模来提高语言模型的性能，而标准预训练方法通常会忽略这种相关性。其核心思想是首先学习文档之间关系的模型，然后使用它来生成更大的合成语料库以进行联合训练。这种方法旨在捕捉数据中更丰富、更复杂的关系，从而可能产生更有效的语言模型。本文强调了 SBP 通过利用文档间关系来提高模型性能的潜力。

• •SBP 是 Apple ML 开发的一种新的语言模型预训练方法。
• •SBP 侧重于对文档间相关性进行建模以提高性能。
• •SBP 使用一个两步流程：学习文档关系模型，然后合成更大的语料库。