サンミ・コイェジョ氏とのLLMにおける創発的行動は幻想か？ - #671

この記事は、スタンフォード大学の助教授であるサンミ・コイェジョ氏との議論を要約しており、NeurIPS 2024で発表された彼の研究に焦点を当てています。主なトピックは、大規模言語モデル（LLM）の「創発能力」に疑問を呈するコイェジョ氏の論文を中心に展開されています。中心的な主張は、算術スキルなど、LLMにおける突然の能力獲得の認識は、非線形評価指標の使用によって引き起こされる幻想である可能性があるということです。対照的に、線形指標は、より緩やかで予想される改善を示しています。この会話では、毒性、プライバシー、公平性、堅牢性など、GPTモデルの信頼性を評価するコイェジョ氏の研究についても触れています。