AutoThink：ローカルLLM向け適応型推論

AutoThinkは、クエリの複雑性に基づいて計算リソースを動的に割り当てることで、ローカルLLMのパフォーマンスを向上させる新しい技術です。中核となるアイデアは、クエリを分類し、それに応じて「思考トークン」を割り当てることで、複雑なクエリにより多くのリソースを与えることです。実装には、推論パターンをガイドするためのPivotal Token Searchから派生したステアリングベクトルが含まれています。結果は、GPQA-Diamondなどのベンチマークで大幅な改善を示しており、この技術はAPIの依存関係なしに、さまざまなローカルモデルと互換性があります。適応型分類フレームワークとオープンソースのPivotal Token Searchの実装が重要なコンポーネントです。

• •AutoThinkは、計算リソースを動的に割り当てることで、ローカルLLMのパフォーマンスを向上させます。
• •複雑性に基づいてクエリを分類し、それに応じて「思考トークン」を割り当てます。
• •Pivotal Token Searchからのステアリングベクトルを使用して推論をガイドします。
• •GPQA-Diamondなどのベンチマークでパフォーマンスの向上を示しています。
• •さまざまなローカルモデルで動作し、APIの依存関係はありません。