SeVeDo：基于分层分组量化和SVD引导混合精度的异构Transformer加速器，用于低比特推理

这篇研究论文介绍了SeVeDo，一种旨在提高基于Transformer的模型效率的新型加速器，重点关注低比特推理。分层分组量化和SVD引导的混合精度技术是实现更高性能和减少资源消耗的有前景的方法。

• •SeVeDo使用分层分组量化来减少内存占用。
• •采用SVD引导的混合精度来优化计算效率。
• •该加速器旨在提高Transformer的低比特推理性能。