通过专家-路由器耦合改进混合专家模型
分析
本文解决了混合专家 (MoE) 模型中的一个关键限制：路由器决策与专家能力之间的不匹配。 提出的专家-路由器耦合 (ERC) 损失提供了一种计算效率高的方法，可以紧密耦合路由器和专家，从而提高性能并提供对专家专业化的见解。 与之前的耦合方法相比，其固定计算成本（与批处理大小无关）是一个显著的优势。
要点
引用 / 来源
查看原文"The ERC loss enforces two constraints: (1) Each expert must exhibit higher activation for its own proxy token than for the proxy tokens of any other expert. (2) Each proxy token must elicit stronger activation from its corresponding expert than from any other expert."