複数トークン発散によるLLM計算の測定と制御

この論文は、インコンテキスト学習中の言語モデルの計算量を測定および制御するための新しい方法であるMultiple Token Divergence（MTD）を紹介しています。既存の方法の限界に対処し、非侵襲的で安定したメトリックを提供します。提案されたDivergence Steering法は、生成されたテキストの複雑さに影響を与える方法を提供します。この論文の重要性は、特に複雑な推論タスクにおいて、LLMの動作の理解と制御を改善する可能性にあります。