GPT-4 中的非确定性由 Sparse MoE 引起

这篇文章声称 GPT-4 的非确定性行为是由于其 Sparse Mixture of Experts (MoE) 架构造成的。这表明即使输入相同，模型的输出也会有所不同，这可能是由于专家选择的概率性质或专家本身固有的随机性。这是一个重要的观察结果，因为它影响了 GPT-4 输出的可重复性和可靠性。