ベルマン完全性なしでのFQEの改善

この論文は、オフポリシー強化学習における中心的な手法であるFitted Q-Evaluation (FQE) の重要な制限に対処しています。 FQEは通常、ベルマン完全性を必要としますが、これは満たすのが難しい条件です。著者は、根本原因としてノルムのミスマッチを特定し、定常密度比を用いた単純な再重み付け戦略を提案しています。これにより、制限的なベルマン完全性の仮定なしで強力な評価保証が可能になり、FQEの堅牢性と実用性が向上します。