WeDLM: 因果的注意機構と拡散復号によるLLM高速推論

本論文は、大規模言語モデル（LLM）の推論速度のボトルネックに対処しています。因果的注意機構を利用して、並列生成を可能にしつつ、プレフィックスKVキャッシングの効率性を維持する拡散復号フレームワークであるWeDLMを提案しています。主要な貢献は、因果的注意構造を壊すことなく並列復号を可能にする、Topological Reorderingと呼ばれる手法です。最適化された自己回帰（AR）ベースラインと比較して大幅な高速化を実証しており、実用的なLLM展開における拡散スタイルの復号の可能性を示しています。

• •WeDLMは、因果的注意機構を使用するLLM向けの拡散復号フレームワークを導入しています。
• •Topological Reorderingは、プレフィックスキャッシングを維持しながら並列復号を可能にします。
• •この方法は、最適化されたARベースラインと比較して大幅な高速化を実現します。
• •実用的なLLM展開における拡散スタイルの復号の可能性を示しています。