动态子空间组合：通过收缩基底扩展实现高效适应

Research Paper#Machine Learning, Deep Learning, Mixture of Experts, Model Adaptation🔬 Research|分析: 2026年1月3日 18:48•
发布: 2025年12月29日 13:11
•
1分で読める
•ArXiv

分析

本文解决了混合专家 (MoE) 模型中表示崩溃和梯度不稳定的问题，这对于扩展模型容量至关重要。 提出的动态子空间组合 (DSC) 框架提供了一种比标准方法（如 Mixture-of-LoRAs）更有效、更稳定的模型权重自适应方法。 使用共享基底库和稀疏扩展降低了参数复杂度和内存流量，使其具有潜在的可扩展性。 本文通过正则化和谱约束对理论保证（最坏情况界限）的关注也是一个强项。
引用 / 来源
查看原文
"DSC models the weight update as a residual trajectory within a Star-Shaped Domain, employing a Magnitude-Gated Simplex Interpolation to ensure continuity at the identity."
A
ArXiv2025年12月29日 13:11
* 根据版权法第32条进行合法引用。
较旧

Universal and Experiment-calibrated Prediction of XANES through Crystal Graph Neural Network and Transfer Learning Strategy

较新

Coupling Experts and Routers in Mixture-of-Experts via an Auxiliary Loss

相关分析

Research Paper

SpaceTimePilot：时空控制的生成视频渲染

2026年1月3日 06:10

Research Paper

量子混沌哈密顿量演化下的随机性生成

2026年1月3日 06:10

Research Paper

GaMO：几何感知扩散用于稀疏视角3D重建

2026年1月3日 06:32

来源: ArXiv