1. 医疗大模型训练的三阶段全景图
如果你正在医疗领域探索 AI 应用，可能会遇到通用大模型在专业场景下表现不佳的问题。构建垂直领域大模型是解决这一困境的关键。LLaMA-Factory 作为开源微调框架，能协助完成从预训练到部署的全流程。
医疗大模型的训练通常经历三个关键阶段：
- 预训练阶段：通过海量医学文献学习基础知识和语言模式，投入较大。
- 监督微调阶段：使用标注好的医患对话数据教会模型专业应答，性价比最高。
- 偏好纠正阶段：通过强化学习让模型输出更符合医生期待，提升安全性和专业性。
项目实测显示，经过完整三阶段训练的 7B 参数模型，在医疗问答准确率上比通用模型提升显著，尤其在药品禁忌和罕见病诊断方面表现突出。
2. 环境搭建与数据准备实战
2.1 硬件选择与配置技巧
医疗文本通常需要处理长上下文，显存需求较高。根据经验：
- GPU 选择：7B 模型建议至少 40GB 显存（如 A100），13B 模型需要 80GB 显存。预算有限时，RTX 4090(24GB) 配合 QLoRA 量化也能运行。
- 云服务技巧：AWS 的 g5.2xlarge 实例性价比不错，开启 Spot Instance 能节省成本。需注意配置以避免额外费用。
conda create -n medical_llm python=3.10 -y
conda activate medical_llm
pip install torch==2.1.2+cu121 -f https://download.pytorch.org/whl/torch_stable.html
pip install llama-factory==0.6.0
2.2 医疗数据处理的三个关键
医疗数据敏感性强，处理时要特别注意：
- 脱敏处理：使用正则表达式过滤身份证、手机号等信息。
import re
