基于功能感知神经元分组的LLM剪枝泛化性能提升

本文解决了大型语言模型（LLM）后训练结构化剪枝泛化能力有限的挑战。它提出了一种新颖的框架，即功能感知神经元分组（FANG），以减轻校准偏差并提高下游任务的准确性。其核心思想是根据神经元的功能角色进行分组，并独立地进行剪枝，对与组的功能相关的标记赋予更高的权重。基于功能复杂度的自适应稀疏性分配也是一个关键的贡献。结果表明，与现有方法相比，性能有所提高，这使得本文对LLM压缩领域做出了有价值的贡献。

• •提出了用于改进LLM剪枝的功能感知神经元分组（FANG）。
• •解决了由校准偏差引起的泛化问题。
• •基于语义上下文和功能角色对神经元进行分组。
• •与现有的剪枝方法（FLAP，OBC）相比，实现了最先进的结果。
• •在保持语言建模性能的同时，提高了下游任务的准确性。