预测语言模型微调的数据效率

本文解决了确定需要多少数据才能有效微调大型语言模型（LLM）的实际问题。这很重要，因为微调通常是实现特定任务良好性能所必需的，但所需的数据量（数据效率）差异很大。本文提出了一种在没有昂贵的增量注释和重新训练过程的情况下预测数据效率的方法，从而可能节省大量资源。

• •解决了LLM微调中数据效率未知的问题。
• •提出了一种使用梯度余弦相似度预测数据效率的方法。
• •旨在减少对昂贵的增量注释和重新训练的需求。
• •在多样化的任务集上实现了8.6%的数据效率预测误差。