言語モデルのファインチューニングにおけるデータ効率の予測

この論文は、大規模言語モデル（LLM）を効果的にファインチューニングするために必要なデータの量を決定するという実際的な問題に取り組んでいます。特定のタスクで良好なパフォーマンスを達成するにはファインチューニングがしばしば必要ですが、必要なデータの量（データ効率）は大きく異なります。この論文は、段階的なアノテーションと再トレーニングというコストのかかるプロセスなしにデータ効率を予測する方法を提案しており、潜在的に多大なリソースを節約できます。