データ破損に対するロバスト性を持つスパースオフライン強化学習

この論文は、データが破損する可能性のある高次元でスパースなマルコフ決定過程（MDP）におけるロバストなオフライン強化学習の課題に取り組んでいます。LSVIのような既存の手法の、スパース性を組み込む際の限界を強調し、スパースなロバスト推定器を備えたアクター・クリティック法を提案しています。主な貢献は、この困難な状況において最初の非自明な保証を提供し、データの破損と特定のカバレッジの仮定の下でも、ほぼ最適なポリシーを学習することが可能であることを示している点です。

• •高次元でスパースなMDPにおけるロバストなオフラインRLを扱っています。
• •スパース性を組み込む際のLSVIの限界を強調しています。
• •スパースなロバスト推定器を備えたアクター・クリティック法を提案しています。
• •特定のカバレッジと破損の仮定の下で、最初の非自明な保証を提供しています。
• •データの破損があっても、ほぼ最適なポリシーを学習できる可能性を示しています。