用于LLM下一令牌预测的保形预测

本文解决了大型语言模型（LLM）中不确定性量化的关键需求，特别是在高风险应用中。它强调了标准softmax概率的局限性，并提出了一种新方法，即Vocabulary-Aware Conformal Prediction (VACP)，以提高预测集的有效性，同时保持覆盖保证。其核心贡献在于平衡覆盖精度和预测集效率，这是实际部署的关键方面。本文侧重于一个实际问题，并展示了在集合大小方面的显著改进，使其具有价值。

• •解决了LLM中校准不良概率的问题。
• •提出了Vocabulary-Aware Conformal Prediction (VACP)来提高预测集效率。
• •在保持覆盖保证的同时，证明了预测集大小的显著减少。
• •为LLM中的不确定性量化提供了实用的解决方案。