用于长视野LLM强化学习的信任区域掩蔽

本文解决了长视野LLM强化学习中策略外不匹配的问题，这是一个由于实现差异等因素造成的关键问题。它推导了更严格的信任区域界限，并引入了信任区域掩蔽（TRM）以提供单调改进保证，这对于长视野任务来说是一项重大进步。

• •解决了长视野LLM-RL中的策略外不匹配问题。
• •推导了更严格的信任区域界限。
• •引入了信任区域掩蔽（TRM）以实现单调改进保证。
• •如果任何标记违反信任区域，TRM将排除整个序列。