学習率減衰：LLMカリキュラム事前学習における隠れたボトルネック

このArXiv論文は、大規模言語モデル (LLM) のカリキュラムベースの事前学習における学習率減衰の有害な影響を批判的に検証しています。この研究は、従来の減衰スケジュールがいかにして、プロセス初期における高品質なトレーニングデータの最適でない利用につながるかを明らかにしている可能性があります。

• •カリキュラム学習における学習率減衰は、高品質なデータの非効率な使用につながる可能性があります。
• •この研究は、代替の学習率スケジュールがパフォーマンスを向上させる可能性があることを示唆しています。
• •この研究は、LLMの事前学習プロセスの最適化に影響を与えます。