大規模言語モデルと創発：複雑系からの視点（デビッド・C・クラカウアー教授）

クラカウアー教授の視点は、現在のAI開発、特にLLMに対する批判的な評価を提供しています。彼は、パフォーマンスの向上を達成するためにデータのスケールに焦点を当てることは誤解を招くと主張しています。それは必ずしも真の知能と等しいわけではないからです。彼はこれを、限られた情報で新しい問題を解決する能力としての知能の定義と対比しています。クラカウアーは、技術コミュニティの「創発」の理解に異議を唱え、流体ダイナミクスにおける個々の水分子の追跡からの移行と同様に、LLMの内部組織におけるより深く、より根本的な変化を提唱しています。この批判は、表面的なパフォーマンス指標を超え、より効率的で適応性の高いAIシステムの開発に焦点を当てる必要性を強調しています。

• •真の知能は、限られた情報で新しい問題を解決する能力によって定義され、現在のAIが膨大なデータセットに依存していることとは対照的です。
• •LLMにおける「創発」に対する技術コミュニティの理解は表面的であり、真の創発には内部組織の根本的な変化が必要です。
• •真の知能を達成するためには、データのスケールから、LLMにおけるより効率的な内部表現の開発に焦点を移すべきです。