静的再重み付けによるソフトFQIの収束改善

Research Paper#Reinforcement Learning, Offline RL, Fitted Q-Iteration🔬 Research|分析: 2026年1月3日 18:24•
公開: 2025年12月30日 00:58
•
1分で読める
•ArXiv

分析

この論文は、関数近似と分布シフト下でのオフライン強化学習におけるソフトFitted Q-Iteration (FQI) の不安定性に対処しています。ソフトベルマン演算子の幾何学的ミスマッチを主要な問題として特定しています。主な貢献は、現在のポリシーの定常分布を使用して回帰更新を再重み付けする、静的再重み付けソフトFQIの導入です。このアプローチは、関数近似下での局所線形収束保証を提供し、温度アニーリング戦略による大域的収束の可能性を示唆することにより、収束特性を改善することが示されています。
引用・出典
原文を見る
"The paper introduces stationary-reweighted soft FQI, which reweights each regression update using the stationary distribution of the current policy. It proves local linear convergence under function approximation with geometrically damped weight-estimation errors."
A
ArXiv2025年12月30日 00:58
* 著作権法第32条に基づく適法な引用です。
古い記事

Helical Fermi Arc in Altermagnetic Weyl Semimetal

新しい記事

Inelastic dilatancy as a mechanism for coseismic fluid depressurization of a shallow fault zone

関連分析

Research Paper

SpaceTimePilot：空間と時間の制御による生成ビデオレンダリング

2026年1月3日 06:10

Research Paper

量子カオスハミルトニアン進化におけるランダム性生成

2026年1月3日 06:10

Research Paper

GaMO：幾何学認識拡散を用いた疎視点3D再構成

2026年1月3日 06:32

原文: ArXiv