ProGuard: 能動的AI安全

この論文は、生成モデルにおけるマルチモーダルな安全リスクを能動的に特定し記述するための新しいアプローチであるProGuardを紹介しています。従来の反応的な安全対策の限界に対処するため、強化学習と特別に設計されたデータセットを使用して、外れ値（OOD）の安全問題を検出します。能動的なモデレーションとOODリスク検出に焦点を当てていることは、AI安全の分野への重要な貢献です。

• •ProGuardは、能動的なマルチモーダル安全のために設計されたビジョン言語モデルです。
• •強化学習とモダリティバランスの取れたデータセットを使用しています。
• •ProGuardは、外れ値（OOD）の安全リスクの検出と記述に優れています。
• •既存の方法と比較して、OODリスクの検出と記述において大幅な改善を示しています。