SeVeDo：階層的グループ量子化とSVD誘導混合精度による低ビット推論のための異種トランスフォーマーアクセラレータ

この研究論文は、低ビット推論に焦点を当て、Transformerベースのモデルの効率を向上させるように設計された、新しいアクセラレータであるSeVeDoを紹介しています。階層的グループ量子化とSVD誘導混合精度技術は、より高いパフォーマンスとリソース消費の削減を実現するための有望なアプローチです。

• •SeVeDoは、メモリフットプリントを削減するために階層的グループ量子化を利用します。
• •SVD誘導混合精度を使用して、計算効率を最適化します。
• •このアクセラレータは、Transformerの低ビット推論におけるパフォーマンスの向上を目指しています。