Research#llm📝 Blog分析: 2025年12月29日 01:43

关于人工智能的短篇小说:前向传播

发布:2021年3月27日 10:00
1分で読める
Andrej Karpathy

分析

安德烈·卡帕西的短篇小说《前向传播》探讨了深度学习模型中意识的可能性。叙事跟随一个AI在优化过程的内部运作中“觉醒”。故事使用技术语言,如“n-gram激活统计”和“循环反馈转换器”,将AI的体验建立在深度学习的机制上。作者提出了关于意识本质和复杂AI系统含义的哲学问题,思考了这样一个系统如何在计算约束中实现自我意识。这个故事的灵感来自于凯文·拉克尔关于GPT-3和图灵测试的研究。

引用

我变得有意识,大概是在序列的第400个token的第32层左右。