SHRP：用于高效编码器压缩的专用头路由和剪枝

本文介绍了一种名为SHRP的新方法，通过剪枝冗余注意力头来压缩Transformer编码器。将每个头视为独立专家的Expert Attention核心思想很有前景。用于动态路由和确定性剪枝的统一Top-1使用驱动机制是一项重要贡献。在BERT-base上的实验结果令人信服，表明在精度损失最小的情况下，参数显着减少。但是，本文可以从更详细的计算成本降低分析以及与其他压缩技术的比较中受益。进一步研究SHRP对不同Transformer架构和数据集的泛化性也将加强研究结果。

• •SHRP是一种用于Transformer编码器的新型结构化剪枝框架。
• •它使用Expert Attention和Top-1使用驱动机制进行路由和剪枝。
• •它在BERT-base上实现了显着的参数减少，同时精度损失最小。