LLM推論の加速：大規模バッチシナリオにおける非自己回帰予測によるスケーラブルな推測的デコーディング

このArXiv論文は、大規模言語モデル (LLM) における推測的デコーディングをスケーリングするための効率的な方法を探求しています。この研究は、実際のLLMアプリケーションにとって重要な推論速度とスループットの向上に焦点を当てている可能性があります。