基于风险感知的对齐，实现更安全的语言模型

本文解决了在微调语言模型时安全性的关键问题。它超越了风险中立的方法，引入了一种新方法，即风险感知逐步对齐（RSA），在策略优化过程中明确考虑并减轻风险。这对于预防有害行为，特别是那些低概率但高影响力的行为，至关重要。使用嵌套风险度量和逐步对齐是关键的创新，既能控制模型偏移，又能抑制危险输出。理论分析和实验验证进一步加强了论文的贡献。