用于在Atlas A2上高效部署OpenPangu模型的量化

本文通过使用低比特量化，解决了在Ascend NPU上部署openPangu等大型语言模型（LLM）的计算挑战。它专注于针对特定硬件平台Atlas A2进行优化。这项研究意义重大，因为它探索了减少与LLM（特别是具有复杂推理能力（Chain-of-Thought）的LLM）相关的内存和延迟开销的方法。本文的价值在于证明了INT8和W4A8量化在保持准确性的同时，提高了代码生成任务的性能。

• •低比特量化（INT8和W4A8）对于在Atlas A2上优化openPangu模型是有效的。
• •INT8量化在准确性和加速（1.5倍预填充加速）之间提供了良好的平衡。
• •W4A8量化在适度的精度权衡下提供了显著的内存减少。
• •该研究侧重于在Ascend NPU上高效部署具有Chain-of-Thought推理的LLM。