上下文窗口仍然是一个主要障碍；进展停滞

这篇来自Reddit的r/singularity的文章强调了大型语言模型（LLM）中有限上下文窗口的持续挑战。作者指出，尽管在token限制方面取得了进展（例如，Gemini的100万个token），但实际可用的上下文窗口（性能不会显着下降）仍然相对较小（数十万个token）。这种限制阻碍了AI有效取代知识工作者的能力，因为复杂的任务通常需要处理大量信息。作者质疑未来的模型是否会实现更大的上下文窗口（数十亿或数万亿个token），以及在没有这种进步的情况下，AGI是否可能实现。这篇文章反映了AI社区内对这个关键领域进展缓慢的普遍不满。