動的サブスペース合成：効率的な適応のための収縮基底拡張

この論文は、モデルの容量をスケールする上で重要な、Mixture of Experts (MoE) モデルにおける表現の崩壊と勾配の不安定性の課題に対処しています。提案されたDynamic Subspace Composition (DSC) フレームワークは、Mixture-of-LoRAsのような標準的な方法と比較して、モデルの重みを適応させるためのより効率的で安定したアプローチを提供します。共有基底バンクとスパース展開の使用は、パラメータの複雑さとメモリトラフィックを削減し、潜在的にスケーラブルにします。正則化とスペクトル制約による理論的保証（最悪の場合の境界）への論文の焦点も、強力なポイントです。

• •MoEモデルの問題に対処するために、Dynamic Subspace Composition (DSC)を提案。
• •DSCは、効率的な適応のために共有基底バンクとスパース展開を使用。
• •Mixture-of-LoRAsなどの方法と比較して、パラメータの複雑さとメモリトラフィックを削減。
• •理論的保証のために正則化とスペクトル制約を採用。