是时候重新思考LLM预训练了吗？与Aditi Raghunathan - #747

这篇文章来自Practical AI，讨论了大型语言模型（LLM）的局限性，并探讨了提高其适应性和创造力的潜在解决方案。文章重点介绍了Aditi Raghunathan的研究，包括她获得ICML 2025杰出论文奖的获奖作品，该作品提出了“Roll the dice”和“Look before you leap”等方法来鼓励产生更具新意的想法。文章还提到了“灾难性过度训练”的问题，以及Raghunathan在创建更可控和可靠的模型（如“记忆沉淀”）方面的工作。

• •文章讨论了LLM在生成新颖想法方面的局限性。
• •它强调了关于“Roll the dice”和“Look before you leap”等方法的研究，以提高LLM的创造力。
• •文章提到了“灾难性过度训练”的问题以及创建更可控LLM的方法。