SPM：用于神经网络的高效线性变换
分析
本文介绍了 Stagewise Pairwise Mixers (SPM)，作为神经网络中密集线性层的更有效和结构化的替代方案。通过用稀疏的成对混合阶段的组合替换密集矩阵，SPM 降低了计算和参数成本，同时可能提高泛化能力。本文的重要性在于它有可能通过提供许多神经网络架构的基本组件的即插即用替代方案来加速训练并提高性能，尤其是在结构化学习问题上。
引用
“SPM 层在 $O(nL)$ 时间内实现全局线性变换，参数为 $O(nL)$，其中 $L$ 通常是常数或 $log_2n$。”