MSched: プロアクティブメモリ・スケジューリングによるGPUマルチタスク

本論文は、LLMのような大規模タスクの増加に伴い、最新のGPUにおける重要なメモリボトルネックに対処しています。MSchedと呼ばれるOSレベルのスケジューラを提案し、ワーキングセットを予測し準備することで、GPUメモリを積極的に管理します。このアプローチは、GPUメモリを拡張するための一般的な手法であるデマンドページングによって引き起こされるパフォーマンスの低下を軽減することを目的としています。デマンドページングは、ローカリティが低いため、大幅な速度低下に見舞われます。中核的な革新は、GPUメモリアクセスパターンを予測可能にすることで、ページ配置を最適化し、ページフォールトのオーバーヘッドを削減することにあります。結果は、デマンドページングよりも大幅なパフォーマンス向上を示しており、MSchedはGPUリソース管理に大きく貢献しています。