動的サブスペース合成：効率的な適応のための収縮基底拡張
Research Paper#Machine Learning, Deep Learning, Mixture of Experts, Model Adaptation🔬 Research|分析: 2026年1月3日 18:48•
公開: 2025年12月29日 13:11
•1分で読める
•ArXiv分析
この論文は、モデルの容量をスケールする上で重要な、Mixture of Experts (MoE) モデルにおける表現の崩壊と勾配の不安定性の課題に対処しています。提案されたDynamic Subspace Composition (DSC) フレームワークは、Mixture-of-LoRAsのような標準的な方法と比較して、モデルの重みを適応させるためのより効率的で安定したアプローチを提供します。共有基底バンクとスパース展開の使用は、パラメータの複雑さとメモリトラフィックを削減し、潜在的にスケーラブルにします。正則化とスペクトル制約による理論的保証（最悪の場合の境界）への論文の焦点も、強力なポイントです。