言語モデルのファインチューニングにおけるデータ効率の予測

この論文は、大規模言語モデル（LLM）を効果的にファインチューニングするために必要なデータの量を決定するという実際的な問題に取り組んでいます。特定のタスクで良好なパフォーマンスを達成するにはファインチューニングがしばしば必要ですが、必要なデータの量（データ効率）は大きく異なります。この論文は、段階的なアノテーションと再トレーニングというコストのかかるプロセスなしにデータ効率を予測する方法を提案しており、潜在的に多大なリソースを節約できます。

• •LLMファインチューニングにおける未知のデータ効率の問題に対処。
• •勾配コサイン類似度を使用してデータ効率を予測する方法を提案。
• •コストのかかる段階的なアノテーションと再トレーニングの必要性を減らすことを目指す。
• •多様なタスクセットで8.6％のデータ効率予測エラーを達成。