MSched: 通过主动内存调度的GPU多任务处理

本文解决了现代GPU中关键的内存瓶颈问题，尤其是在LLM等大规模任务的需求不断增长的情况下。它提出了MSched，一个OS级别的调度器，通过预测和准备工作集来主动管理GPU内存。这种方法旨在减轻由需求分页引起的性能下降，需求分页是一种扩展GPU内存的常用技术，但由于局部性差而导致显着的减速。核心创新在于利用GPU内存访问模式的可预测性来优化页面放置并减少页面错误开销。结果表明，MSched在性能上优于需求分页，这使得MSched对GPU资源管理做出了重大贡献。

• •解决了GPU内存瓶颈问题，特别是对于大规模任务。
• •提出了MSched，一个用于主动内存管理的OS级调度器。
• •利用了GPU内存访问模式的可预测性。
• •实现了比需求分页显着的性能提升。
• •侧重于优化页面放置并减少页面错误开销。