信息理论指导智能体LM系统设计

本文介绍了一个信息论框架，用于分析和优化智能体语言模型（LM）系统，这些系统越来越多地用于Deep Research等应用。它解决了设计压缩器-预测器系统的临时问题，通过使用互信息量化压缩质量。关键贡献在于证明了互信息与下游性能有很强的相关性，从而可以对压缩器的有效性进行与任务无关的评估。研究结果表明，扩展压缩器比扩展预测器更有益，从而实现更高效、更具成本效益的系统设计。