ABBEL: 言語で表現された信念ボトルネックを通じて行動するLLMエージェント

このArXiv論文では、ABBELという、逐次的意思決定タスクにおいてLLMエージェントが簡潔なコンテキストを維持するためのフレームワークを紹介しています。タスク関連の未知数に関する自然言語の要約である信念状態を使用することで、完全なインタラクション履歴を保持することの計算上の非現実性に対処します。エージェントは各ステップで信念を更新し、事後信念に基づいて行動します。ABBELは解釈可能な信念と一定のメモリ使用量を提供しますが、エラー伝播が発生しやすいです。著者らは、信念の生成と行動を改善するために強化学習を使用することを提案し、信念のグレーディングと長さのペナルティを実験しています。この研究は、メモリ効率と信念更新エラーによる潜在的なパフォーマンス低下の間のトレードオフを強調しており、RLを有望なソリューションとして示唆しています。

• •ABBELフレームワークにより、LLMエージェントは信念状態を使用して簡潔なコンテキストを維持できます。
• •信念ボトルネックはエラー伝播につながり、パフォーマンスに影響を与える可能性があります。
• •強化学習を使用して、信念生成を改善し、エラー伝播を軽減できます。