ProGuard: 主动式AI安全

本文介绍了ProGuard，这是一种主动识别和描述生成模型中多模态安全风险的新方法。它通过使用强化学习和专门设计的数据集来检测超出分布（OOD）的安全问题，从而解决了被动安全方法的局限性。 专注于主动式审核和OOD风险检测是人工智能安全领域的重要贡献。

• •ProGuard 是一种为主动多模态安全设计的视觉语言模型。
• •它使用强化学习和模态平衡数据集。
• •ProGuard 擅长检测和描述超出分布 (OOD) 的安全风险。
• •与现有方法相比，在 OOD 风险检测和描述方面表现出显着改进。