在深度神经网络中直接构建低维解子空间

本文解决了深度神经网络中的冗余问题，即尽管解空间的内在维度较低，但仍然使用高维宽度。作者提出了一种构造性方法，通过将解的几何结构与环境搜索空间分离来绕过优化瓶颈。这很重要，因为它可能导致更有效和紧凑的模型，而不会牺牲性能，从而有可能实现“Train Big, Deploy Small”的场景。

• •解决了深度神经网络中高维宽度的冗余问题。
• •提出了一种构造性方法来绕过优化瓶颈。
• •证明了分类头可以进行显著压缩，同时性能损失最小。
• •引入了Subspace-Native Distillation作为一种新范式。
• •旨在实现“Train Big, Deploy Small”的场景。