GPT-4の非決定性はSparse MoEが原因

この記事は、GPT-4の非決定的な振る舞いが、そのSparse Mixture of Experts (MoE)アーキテクチャに起因すると主張しています。これは、同じ入力でもモデルの出力が異なることを示唆しており、専門家の選択の確率的性質や、専門家自体の固有のランダム性などが原因である可能性があります。これは、GPT-4の出力の再現性と信頼性に影響を与えるため、重要な観察です。