为什么没有潜在推理模型?
分析
这篇来自r/singularity的帖子提出了一个有效的问题,即尽管研究表明其潜力,但为什么没有公开可用的大型语言模型(LLM)在潜在空间中执行推理。作者指出了Meta的工作(Coconut),并暗示其他主要的AI实验室可能正在探索这种方法。该帖子推测了可能的原因,包括token的更高可解释性,以及即使来自中国(研究重点可能不同)也缺乏此类模型。缺乏具体的模型可能源于该方法的固有难度,或者实验室由于其当前的有效性和可解释性而优先考虑基于token的模型的战略决策。这个问题突出了当前LLM开发中的潜在差距,并鼓励进一步讨论替代推理方法。
引用 / 来源
查看原文""but why are we not seeing any models? is it really that difficult? or is it purely because tokens are more interpretable?""