DREX 实现高效早期退出推理的动态重批处理

这篇文章可能讨论了一种新的方法 DREX，用于优化大型语言模型 (LLM) 中的推理。重点是通过动态重批处理来提高效率，这是一种在推理期间调整批次大小的技术，以便在可能的情况下尽早退出计算。这表明重点是降低 LLM 部署中的计算成本和延迟。