MSched: 通过主动内存调度的GPU多任务处理
Research Paper#GPU Memory Management, LLM, Operating Systems🔬 Research|分析: 2026年1月3日 17:10•
发布: 2025年12月31日 05:18
•1分で読める
•ArXiv分析
本文解决了现代GPU中关键的内存瓶颈问题，尤其是在LLM等大规模任务的需求不断增长的情况下。它提出了MSched，一个OS级别的调度器，通过预测和准备工作集来主动管理GPU内存。这种方法旨在减轻由需求分页引起的性能下降，需求分页是一种扩展GPU内存的常用技术，但由于局部性差而导致显着的减速。核心创新在于利用GPU内存访问模式的可预测性来优化页面放置并减少页面错误开销。结果表明，MSched在性能上优于需求分页，这使得MSched对GPU资源管理做出了重大贡献。