OptRot: 通过无数据旋转改善LLM量化

这篇论文解决了量化大型语言模型（LLM）的挑战，引入了一种名为OptRot的新方法，该方法使用无数据旋转来减轻权重异常值。这很重要，因为权重异常值会阻碍量化，而有效的量化对于在资源受限的设备上部署LLM至关重要。论文侧重于无数据方法尤其值得注意，因为它减少了与数据相关方法相比的计算开销。结果表明，OptRot优于现有的方法，如Hadamard旋转和更复杂的数据相关技术，尤其是在权重量化方面。对无数据和数据相关变体（OptRot+）的探索提供了对优化权重和激活量化所涉及的权衡的细致理解。

• •OptRot是一种用于减轻LLM中权重异常值的无数据方法。
• •OptRot提高了权重量化性能，优于现有方法。
• •OptRot+结合了激活协方差以进一步提高性能。
• •本文强调了不同设置（W4A4 vs W4A8）中权重和激活量化之间的权衡。