Nightjar：LLMサービングのための適応型投機的デコーディング

この論文は、実世界のサービングシナリオにおける大規模言語モデル（LLM）の投機的デコーディング（SD）の重要な制限に対処しています。標準的なSDは固定の投機長を使用しており、高負荷時にはパフォーマンスを低下させる可能性があります。Nightjarは、投機長を動的に調整するための学習ベースのアプローチを導入し、さまざまなリクエストレートに適応することで、スループットとレイテンシを向上させます。これは、SDを本番環境のLLMサービングにより実用的にするため、重要です。

• •Nightjarは、適応型投機的推論のための学習ベースのアルゴリズムです。
• •リクエスト負荷に基づいて投機長を動的に調整します。
• •メリットがない場合は、投機的デコーディングを無効にできます。
• •標準的なSDと比較して、より高いスループットと低いレイテンシを達成します。