在测试时控制推理模型的认知行为以提高效率和准确性

这篇论文解决了大型语言模型（LLM）在复杂推理任务中的低效率和不稳定性问题。它提出了一种名为CREST的全新、无需训练的方法，用于在测试时控制模型的认知行为。通过识别并干预与低效推理模式相关的特定注意力头，CREST旨在提高准确性和计算成本。其意义在于，它有可能使LLM更快、更可靠，而无需重新训练，这是一个显著的优势。

• •提出了 CREST，一种在测试时控制 LLM 推理的无需训练的方法。
• •识别并干预与验证和回溯等认知行为相关的特定注意力头。
• •将准确率提高了高达 17.5%，并减少了 37.6% 的 token 使用量。
• •提供了一条无需重新训练即可实现更快、更可靠的 LLM 推理的途径。