エントロピー誘導トークン・ドロップアウト：限定ドメインデータでの自己回帰言語モデルの訓練

この論文は、限定されたドメイン固有のデータで訓練された自己回帰言語モデルにおける過学習の問題に対処しています。低エントロピーのトークンが急速に学習され、複数エポックの訓練中に高エントロピーのトークンに対するモデルの汎化能力を妨げていることを特定しています。提案された解決策であるEntroDropは、低エントロピーのトークンを選択的にマスクする新しい正則化技術であり、モデルの性能と堅牢性を向上させます。

• •限定されたデータで訓練された自己回帰言語モデルにおける過学習に対処。
• •エントロピー誘導トークン・ドロップアウト手法であるEntroDropを導入。
• •EntroDropは、汎化を改善するために低エントロピーのトークンを選択的にマスク。
• •実験により、標準的な正則化ベースラインよりも一貫した性能向上が示される。
• •データ制約のあるドメインにおけるLLMの適応のための有望なアプローチを提供する。