彼はTransformerを共同発明。現在:連続思考マシン - Llion JonesとLuke Darlow [Sakana AI]

Research#llm📝 Blog|分析: 2025年12月28日 21:57
公開: 2025年11月23日 17:36
1分で読める
ML Street Talk Pod

分析

この記事は、Transformerアーキテクチャの共同発明者であるLlion Jonesと、Sakana AIのLuke Darlowによる挑発的な議論について論じています。彼らは、ChatGPTのような現代のAIの多くを支えるTransformerが、真の知的な推論の開発を妨げている可能性があると考えています。彼らは、AIが情報を処理する方法を根本的に変えるように設計された、生物学にインスパイアされたモデルであるContinuous Thought Machines(CTM)に関する彼らの研究を紹介しています。この記事は、「スパイラル」の比喩を通して、現在のAIの限界を浮き彫りにし、現在のモデルが概念を真に理解するのではなく、「偽装」していることを示しています。この記事には、スポンサーメッセージも含まれています。
引用・出典
原文を見る
"If you ask a standard neural network to understand a spiral shape, it solves it by drawing tiny straight lines that just happen to look like a spiral. It "fakes" the shape without understanding the concept of spiraling."
M
ML Street Talk Pod2025年11月23日 17:36
* 著作権法第32条に基づく適法な引用です。