医疗影像的强化学习：基准测试与临床表现

本文强调了将强化学习 (RL) 应用于医学影像时的一个关键问题：针对基准测试性能的优化可能导致跨数据集可迁移性的下降，进而影响临床实用性。这项研究使用名为 ChexReason 的视觉语言模型，表明虽然 RL 提高了在训练基准测试 (CheXpert) 上的性能，但却损害了在不同数据集 (NIH) 上的性能。这表明 RL 过程，特别是 GRPO，可能过度拟合训练数据，并学习特定于该数据集的特征，而不是可泛化的医学知识。本文的研究结果挑战了将常用于 LLM 的 RL 技术直接应用于医学影像任务，强调了在临床环境中仔细考虑泛化性和鲁棒性的必要性。本文还建议，对于临床部署，监督式微调可能是一种更好的方法。

• •针对基准测试的 RL 优化可能会损害医学影像中的跨数据集泛化能力。
• •研究表明，RL 范式，特别是 GRPO，可能过度拟合训练数据。
• •对于需要鲁棒性的临床部署，监督式微调可能是一种更好的方法。
• •结构化推理支架对医学预训练模型提供的增益最小。