AutoJudgeの紹介：自動データセットキュレーションによる推論の合理化

この記事では、大規模言語モデル（LLM）の推論を加速させる方法であるAutoJudgeを紹介しています。速度を向上させるために、重要なトークンのミスマッチを特定することに焦点を当てています。AutoJudgeは、自己教師あり学習を使用して軽量の分類器を訓練し、1サイクルあたり最大40個のドラフトトークンを処理します。主な利点は、標準的な投機的デコーディングと比較して1.5〜2倍の高速化を実現し、最小限の精度損失を維持することです。このアプローチは、これらのモデルの計算需要に対応し、LLMのパフォーマンスを最適化するための実用的なソリューションを強調しています。

• •AutoJudgeはLLMの推論を加速します。
• •自己教師あり学習と軽量分類器を使用します。
• •標準的な投機的デコーディングよりも1.5〜2倍の高速化を実現します。