N:Mスパース性と量子化を用いた効率的なLLM推論のためのFPGAコデザイン

この論文は、大規模言語モデル（LLM）をリソース制約のある環境に展開するという課題に取り組み、FPGAを使用したハードウェアとソフトウェアの協調設計アプローチを提案しています。主な貢献は、重み剪定（N:Mスパース性）と低ビット量子化を組み合わせ、メモリフットプリントを削減し、推論を高速化する自動化フレームワークにあります。この論文は、密なGPUベースラインと比較して大幅な高速化とレイテンシの削減を示しており、提案された方法の有効性を強調しています。FPGAアクセラレータは、さまざまなスパースパターンをサポートする柔軟性を提供します。

• •FPGAでの効率的なLLM推論のためのハードウェアとソフトウェアの協調設計フレームワークを提案。
• •N:Mスパース性と4ビット量子化を組み合わせて、メモリフットプリントを削減し、計算を高速化。
• •密なGPUベースラインと比較して、大幅な高速化とレイテンシの削減を実現。
• •LLM推論における構造化スパース性と量子化の有効性を実証。
• •FPGAアクセラレータは、さまざまなスパースパターンをサポートする柔軟性を提供。