Splitwise: 基于 Lyapunov 辅助 DRL 的自适应边缘-云 LLM 推理
分析
本文解决了在边缘设备上部署大型语言模型 (LLM) 的挑战，平衡了延迟、能耗和准确性。它提出了 Splitwise，一个使用 Lyapunov 辅助深度强化学习 (DRL) 的新框架，用于在边缘和云资源之间动态划分 LLM。该方法意义重大，因为它提供了比静态分区方法更精细和自适应的解决方案，尤其是在带宽波动的环境中。 Lyapunov 优化的使用确保了队列的稳定性，并且具有鲁棒性，这对于实际部署至关重要。实验结果表明，延迟和能源效率有了显着提高。