困惑度に着目したデータスケーリング: 継続的な事前学習におけるLLM性能予測

このArXiv論文は、困惑度ランドスケープの分析を通じて、継続的な事前学習中の大規模言語モデル（LLM）の性能を予測する新しいアプローチを検討しています。この研究は、データ選択とトレーニング戦略を最適化するための、潜在的に価値のある方法論を提供しています。

• •困惑度に基づいた新しいデータスケーリング則を提案。
• •LLMの継続的な事前学習に困惑度分析を適用。
• •トレーニング中のLLMの性能を予測し、最適化することを目指す。