GPT-4 中的非确定性由 Sparse MoE 引起

这篇文章声称 GPT-4 的非确定性行为是由于其 Sparse Mixture of Experts (MoE) 架构造成的。这表明即使输入相同，模型的输出也会有所不同，这可能是由于专家选择的概率性质或专家本身固有的随机性。这是一个重要的观察结果，因为它影响了 GPT-4 输出的可重复性和可靠性。

• •GPT-4 的非确定性与它的 Sparse MoE 架构相关联。
• •这意味着即使输入相同，输出也可能不同。
• •这种可变性可能源于概率专家选择或专家内部的随机性。
• •这影响了 GPT-4 结果的可重复性和可靠性。