大規模言語モデルにおける投機的デコーディングを加速するための効率的な適応的棄却サンプリング

この記事は、大規模言語モデルにおけるテキスト生成を高速化するために使用される投機的デコーディングの速度を向上させる新しい方法を提示している可能性があります。重点は、投機的デコーディングの主要コンポーネントである棄却サンプリングプロセスの効率を改善することにあります。「適応的」の使用は、最適なパフォーマンスのためにパラメータを動的に調整する方法を示唆しています。