ClinDEF：臨床推論におけるLLM評価のための動的フレームワーク

この論文は、臨床推論における大規模言語モデル（LLM）を評価するための新しいフレームワーク、ClinDEFを紹介しています。既存の静的ベンチマークの限界に対処するため、動的な医師と患者のやり取りをシミュレートします。このフレームワークの強みは、患者ケースを動的に生成し、複数ターンの対話を促進し、診断精度、効率、品質を含む多面的な評価を提供できることです。これは、LLMの臨床推論能力をより現実的かつ微妙に評価できるため、医療におけるより信頼性が高く、臨床的に関連性の高いAIアプリケーションにつながる可能性があるため重要です。

• •ClinDEFは、臨床推論におけるLLMを評価するための動的フレームワークです。
• •より現実的な評価のために、医師と患者の対話をシミュレートします。
• •このフレームワークは、患者ケースを生成するために疾患知識グラフを使用します。
• •評価には、診断精度、効率、品質が含まれます。
• •ClinDEFは、最先端のLLMにおける臨床推論のギャップを明らかにします。