复旦：提升LLM在医疗领域的推理能力

📖标题：FineMedLM-o1: Enhancing the Medical Reasoning Ability of LLM from Supervised Fine-Tuning to Test-Time Training
🌐来源：

🌟摘要

🔸大型语言模型（LLM）的最新进展在疾病诊断和治疗计划等医学应用中显示出希望。然而，大多数现有的医学LLM都难以应对复杂临床场景所需的高级推理，例如鉴别诊断或个性化治疗建议。
🔸我们提出了FineMedLM-o1，它利用高质量的合成医学数据和长形式推理数据进行监督微调（SFT）和直接偏好优化（DPO），实现了高级对话和深度推理功能。此外，我们首次在医学领域引入了测试时间训练（TTT），促进了领域适应，并确保了可靠、准确的推理。
🔸实验结果表明，FineMedLM-o1在关键医疗基准上比先前的模型平均性能提高了23%。此外，TTT的引入使性能提高了14%，突出了其在增强医学推理能力方面的有效性。为了支持这一过程，我们还提出了一种合成医学对话的新方法。与其他开源数据集相比，我们的数据集在质量和复杂性方面都表现出色。项目和数据将在上发布

🛎️文章简介

🔸研究问题：现有医疗领域大语言模型（LLM）在处理复杂医疗问题时缺乏深度推理能力。
🔸主要贡献：论文提出了FineMedLM-o1模型和一种新颖的合成数据生成方法，显著提升了LLM在医疗领域的推理能力和领域适应性。

📝重点思路

🔸数据合成与分类：使用互联网语料库（如Common Crawl）作为基础，从中随机选取420000个样本作为原始医疗文本，并通过Qwen模型对这些数据进行细粒度分类，生成包含5个主要类别和29个次级类别的FineMed数据集。
🔸三阶段监督微调（SFT）：借鉴行业多阶段微调经验，第一阶段从整个医学数据集抽样训练，第二阶段从FineMed的内部医学子集抽样训练，第三阶段从内分泌子集抽样训练
🔸推理能力强化：首先使用一半的o1风格长形式推理数据进行SFT，使模型获得初步推理能力，然后使用剩余的一半数据进行DPO，进一步提升模型的推理能力。
🔸测试时训练（TTT）：在推理阶段引入TTT技术，使模型能够适应特定领域的知识和流程，增强其生成解决方案的鲁棒性和可靠性。

🔎分析总结

🔸模型性能提升：FineMedLM-o1在复杂医疗推理任务上的表现显著优于FineMedLM，推理能力提升了约27个百分点，并在多个医疗基准测试中表现出色。
🔸数据集质量验证：通过LLM-as-a-judge方法评估，FineMed数据集在指令质量和复杂性方面均优于其他开源医疗SFT数据集。
🔸三阶段SFT的有效性：实验表明，采用三阶段SFT策略的FineMedLM在所有基准测试中均优于未采用多阶段训练的基线模型，最大性能提升达15%。
🔸TTT的贡献：引入TTT技术进一步提升了FineMedLM-o1的推理能力，使其在复杂医疗任务上的表现接近GPT-4o-mini。

💡个人观点

论文的核心在于通过数据合成、三阶段SFT和TTT来训练模型推理能力。

🧩附录