动态子空间组合：通过收缩基底扩展实现高效适应

本文解决了混合专家 (MoE) 模型中表示崩溃和梯度不稳定的问题，这对于扩展模型容量至关重要。 提出的动态子空间组合 (DSC) 框架提供了一种比标准方法（如 Mixture-of-LoRAs）更有效、更稳定的模型权重自适应方法。 使用共享基底库和稀疏扩展降低了参数复杂度和内存流量，使其具有潜在的可扩展性。 本文通过正则化和谱约束对理论保证（最坏情况界限）的关注也是一个强项。

• •提出动态子空间组合 (DSC) 以解决 MoE 模型中的问题。
• •DSC 使用共享基底库和稀疏扩展进行高效自适应。
• •与 Mixture-of-LoRAs 等方法相比，降低了参数复杂度和内存流量。
• •采用正则化和谱约束以获得理论保证。