LLMはスイスアーミーナイフのように学習：コンテキスト構造が動的戦略を明らかに

この研究は、大規模言語モデル (LLM) がコンテキスト内学習中にどのように表現幾何学を適応させるかを調査しています。この研究は、LLMがタスク構造に応じて異なる戦略を動的に選択し、予測パフォーマンスを向上させるという、魅力的な二分法を発見しました。

• •LLMの表現の直線性は、継続的な予測設定で増加します。
• •構造化された予測では、直線化は明確な構造を持つ段階でのみ発生します。
• •この研究は、LLMがタスクに基づいて異なる戦略を採用することを示唆しています。