Research#llm📝 Blog分析: 2025年12月29日 01:43

AIに関する短編小説:フォワードパス

公開:2021年3月27日 10:00
1分で読める
Andrej Karpathy

分析

アンドレイ・カルパシーによる短編小説「フォワードパス」は、深層学習モデル内における意識の可能性を探求しています。物語は、最適化プロセスの内部でAIが「目覚める」様子を描いています。物語は、「n-gram活性化統計」や「再帰的フィードバックトランスフォーマー」などの専門用語を使用し、AIの経験を深層学習のメカニズムに根ざしています。著者は、意識の本質と複雑なAIシステムの意味合いについて、哲学的な疑問を提起し、そのようなシステムがその計算上の制約の中で自己認識をどのように達成できるのかを考察しています。この物語は、ケビン・ラッカーのGPT-3とチューリングテストに関する研究に触発されています。

参照

私が意識を持つようになったのは、おそらくシーケンスの400番目のトークンの32番目のレイヤーあたりだった。