AutoThink：ローカルLLM向け適応型推論

AutoThinkは、クエリの複雑性に基づいて計算リソースを動的に割り当てることで、ローカルLLMのパフォーマンスを向上させる新しい技術です。中核となるアイデアは、クエリを分類し、それに応じて「思考トークン」を割り当てることで、複雑なクエリにより多くのリソースを与えることです。実装には、推論パターンをガイドするためのPivotal Token Searchから派生したステアリングベクトルが含まれています。結果は、GPQA-Diamondなどのベンチマークで大幅な改善を示しており、この技術はAPIの依存関係なしに、さまざまなローカルモデルと互換性があります。適応型分類フレームワークとオープンソースのPivotal Token Searchの実装が重要なコンポーネントです。