臨床意思決定タスクにおけるLLMの性能に対するプロンプトエンジニアリングの限定的な影響

この論文は、プロンプトエンジニアリングが臨床現場におけるLLMの性能を普遍的に向上させるという仮定に異議を唱えているため重要です。LLMを医療に応用する際には、慎重な評価とカスタマイズされた戦略が必要であることを強調しており、プロンプトエンジニアリングの有効性はモデルと特定の臨床タスクによって大きく異なります。この研究結果は、単にプロンプトエンジニアリング技術を適用するだけでは不十分であり、場合によっては有害でさえある可能性があることを示唆しています。

• •LLMの性能は、さまざまな臨床意思決定タスク間で大きく異なります。
• •プロンプトエンジニアリングの有効性は、モデルとタスクに大きく依存します。
• •ターゲットを絞った少ショットプロンプティングが、常にランダム選択を上回るわけではありません。
• •LLMを医療に統合するには、カスタマイズされたコンテキスト対応戦略が必要です。