情報理論がエージェント型LMシステム設計を導く
分析
この論文は、Deep Researchのようなアプリケーションでますます使用されているエージェント型言語モデル（LM）システムを分析し、最適化するための情報理論的フレームワークを紹介しています。コンプレッサー-予測器システムの設計がアドホックであるという問題に対し、相互情報量を用いて圧縮の質を定量化することでアプローチしています。主な貢献は、相互情報量がダウンストリームのパフォーマンスと強く相関することを示し、タスクに依存しないコンプレッサーの有効性の評価を可能にしている点です。この結果は、予測器をスケールするよりもコンプレッサーをスケールする方が有益であり、より効率的で費用対効果の高いシステム設計につながることを示唆しています。