GPT-4の非決定性はSparse MoEが原因

この記事は、GPT-4の非決定的な振る舞いが、そのSparse Mixture of Experts (MoE)アーキテクチャに起因すると主張しています。これは、同じ入力でもモデルの出力が異なることを示唆しており、専門家の選択の確率的性質や、専門家自体の固有のランダム性などが原因である可能性があります。これは、GPT-4の出力の再現性と信頼性に影響を与えるため、重要な観察です。

• •GPT-4の非決定性は、そのSparse MoEアーキテクチャに関連している。
• •これは、同じ入力でも出力が異なる可能性があることを意味する。
• •この変動性は、確率的な専門家の選択または専門家内の内部的なランダム性から生じる可能性がある。
• •これは、GPT-4の結果の再現性と信頼性に影響を与える。