基于功能感知神经元分组的LLM剪枝泛化性能提升

本文解决了大型语言模型（LLM）后训练结构化剪枝泛化能力有限的挑战。它提出了一种新颖的框架，即功能感知神经元分组（FANG），以减轻校准偏差并提高下游任务的准确性。其核心思想是根据神经元的功能角色进行分组，并独立地进行剪枝，对与组的功能相关的标记赋予更高的权重。基于功能复杂度的自适应稀疏性分配也是一个关键的贡献。结果表明，与现有方法相比，性能有所提高，这使得本文对LLM压缩领域做出了有价值的贡献。