オフライン強化学習におけるベルマンキャリブレーションの改善

この論文は、オフライン強化学習における価値予測の精度を向上させるための新しい事後的な方法である反復ベルマンキャリブレーションを紹介しています。この方法はモデルに依存せず、ベルマンの完全性や実現可能性などの強い仮定を必要としないため、幅広い適用が可能です。二重ロバスト疑似アウトカムを使用してオフポリシーデータを処理することは、重要な貢献です。論文は有限サンプル保証を提供しており、これは実用的なアプリケーションにとって非常に重要です。

• •オフラインRLのための事後キャリブレーション手法である反復ベルマンキャリブレーションを紹介。
• •モデルに依存せず、強い仮定を必要としない。
• •オフポリシーデータに二重ロバスト疑似アウトカムを使用。
• •キャリブレーションと予測のための有限サンプル保証を提供する。