SHRP：用于高效编码器压缩的专用头路由和剪枝

本文介绍了一种名为SHRP的新方法，通过剪枝冗余注意力头来压缩Transformer编码器。将每个头视为独立专家的Expert Attention核心思想很有前景。用于动态路由和确定性剪枝的统一Top-1使用驱动机制是一项重要贡献。在BERT-base上的实验结果令人信服，表明在精度损失最小的情况下，参数显着减少。但是，本文可以从更详细的计算成本降低分析以及与其他压缩技术的比较中受益。进一步研究SHRP对不同Transformer架构和数据集的泛化性也将加强研究结果。