マルチエンベロープDBFによるLLM量子化
分析
この論文は、大規模言語モデル（LLM）の極端な低ビット量子化におけるDouble Binary Factorization（DBF）の限界に対処しています。DBFは効率的ですが、スケーリングパラメータの制約により性能が飽和するという問題があります。提案されたMulti-envelope DBF（MDBF）は、ランク$l$のエンベロープを導入することによりDBFを改善し、バイナリキャリアと展開しやすい推論を維持しながら、より優れたマグニチュード表現を可能にします。この論文は、LLaMAおよびQwenモデルで、困惑度と精度が向上することを示しています。