大規模言語モデルの時間制約推論

この論文は、時間制約が厳しいアプリケーションにおける大規模言語モデル（LLM）の展開という重要な課題に取り組んでいます。主な問題は、LLMの実行時間の予測可能性が低く、リアルタイムシステムでの利用を妨げていることです。TimeBillは、実行時間を予測し、時間予算に合わせて推論プロセスを適応的に調整することで解決策を提供します。これは、ロボット工学や自動運転など、タイミングが重要なアプリケーションで、パフォーマンスを犠牲にすることなくLLMを使用できるようにするため、重要です。

• •時間制約のあるLLM推論の課題に対処。
• •時間予算推論のためのフレームワーク、TimeBillを提案。
• •実行時間予測にRLPとETEを使用。
• •時間予算に基づいてKVキャッシュのイジェクション比率を適応的に調整。
• •タスク完了率とパフォーマンスの向上を実証。