複数トークン発散によるLLM計算の測定と制御

この論文は、インコンテキスト学習中の言語モデルの計算量を測定および制御するための新しい方法であるMultiple Token Divergence（MTD）を紹介しています。既存の方法の限界に対処し、非侵襲的で安定したメトリックを提供します。提案されたDivergence Steering法は、生成されたテキストの複雑さに影響を与える方法を提供します。この論文の重要性は、特に複雑な推論タスクにおいて、LLMの動作の理解と制御を改善する可能性にあります。

• •LLMの計算量を測定するための新しいメトリックとして、Multiple Token Divergence（MTD）を提案。
• •生成されたテキストの計算的特性を制御する方法として、Divergence Steeringを導入。
• •MTDは、数学的推論タスクにおける問題の難易度と精度と相関することが示されている。
• •MTDは、LLMのダイナミクスを分析および制御するための実用的で軽量なツールである。