CAT：制御された入力変化下でのLLMの一貫性と精度の関係を分析するフレームワーク

この研究は、大規模言語モデル (LLM) の一貫性と精度の関係を評価するために設計された新しいフレームワークであるCATを紹介しています。 メトリック駆動型のアプローチは、制御された入力変化の下でLLMのパフォーマンスを分析するための構造化された方法を提供します。

• •CATフレームワークは、精度と一貫性の相関関係に焦点を当てています。
• •このフレームワークは、評価のために制御された入力バリエーションを採用しています。
• •この研究は、プレプリントの調査結果を示すArXivで公開されています。