基于熵引导的Token Dropout：使用有限领域数据训练自回归语言模型

本文解决了在有限的、特定领域数据上训练自回归语言模型时出现的过拟合问题。它发现低熵token学习过快，阻碍了模型在多轮训练中对高熵token的泛化能力。提出的解决方案EntroDrop是一种新颖的正则化技术，它选择性地屏蔽低熵token，从而提高模型性能和鲁棒性。

• •解决了在有限数据上训练的自回归语言模型中的过拟合问题。
• •引入了EntroDrop，一种基于熵引导的token dropout方法。
• •EntroDrop选择性地屏蔽低熵token以提高泛化能力。
• •实验表明，与标准正则化基线相比，性能持续提高。
• •为在数据受限领域中适配LLM提供了一种有前景的方法。