关于大型语言模型中涌现能力的常见论点

本文讨论了大型语言模型（LLM）中涌现能力的概念，涌现能力被定义为大型模型中存在但在较小模型中不存在的能力。它讨论了一些质疑涌现重要性的论点，尤其是在 GPT-4 发布之后。作者捍卫了涌现的观点，强调这些能力很难从缩放曲线中预测，不是明确编程的，并且尚未完全理解。本文重点关注这样一种论点，即涌现与特定的评估指标（如精确匹配）相关联，这可能会过度强调性能突然跃升的表象。