Talkie:定格在1930年的突破性130亿参数LLM
分析
这个极具创新性的大语言模型 (LLM) 项目通过完全剔除现代互联网数据,优雅地分离了AI的基础推理能力。通过严格仅使用1931年以前的文本,研究人员终于能够区分真正的逻辑泛化与单纯的死记硬背。最令人兴奋的发现是,该模型能够仅利用从19世纪文本中获取的数学推理来成功编写Python代码,展现了深厚的自然语言处理潜力。
关键要点
引用 / 来源
查看原文""语言模型的能力有多少来源于记忆,又有多少来源于泛化,这是一个重要的问题。复古语言模型使独特的泛化测试成为可能。""