Qwen3.5-4B 微调实战：LLaMA-Factory 打造医疗 AI 助手
本文介绍使用 LLaMA-Factory 微调 Qwen3.5-4B 模型以构建医疗 AI 助手的完整流程。
核心工具链
- LLaMA-Factory：开源社区成熟的微调框架，上手简单。
- Qwen3.5-4B：阿里千问系列模型，参数量适中，显存友好。
- 医疗问答数据集：用于垂直领域训练。
准备工作
硬件要求
4B 模型使用 LoRA 微调时，12GB 显存显卡即可满足（如 RTX 4070）。若显存不足，可采用 QLoRA 量化方案。
| 微调方式 | 4B 模型显存需求 | 推荐显卡 |
|---|---|---|
| LoRA (16-bit) | ~10-12 GB | RTX 4070 / RTX 3090 |
| QLoRA (8-bit) | ~6-8 GB | RTX 4060 / RTX 3070 |
| QLoRA (4-bit) | ~4-6 GB | RTX 3060 |
软件环境
建议 Python 3.11+，PyTorch 2.0 以上。CUDA 版本推荐 12.x。
下载 Qwen3.5-4B 模型
从魔搭社区下载模型：
# 安装 modelscope
pip install modelscope
# 方式一：Python 代码下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen3.5-4B')
print(f"模型已下载到：{model_dir}")
# 方式二：命令行下载
modelscope download --model Qwen/Qwen3.5-4B --local_dir ./models/Qwen3.5-4B
注意：模型约 9.3GB，建议检查文件完整性。
搭建 LLaMA-Factory 环境
# 克隆仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
# 安装依赖
pip install -e .
pip install -r requirements/metrics.txt
# 如需 DeepSpeed 加速（可选）
pip install -r requirements/deepspeed.txt
验证环境：
llamafactory-cli version
准备医疗数据集
数据集格式需符合 LLaMA-Factory 规范：
[
