基于 ChatGLM-6B 的医疗领域大模型微调实战指南

5. 指令数据集准备

高质量的指令数据集是微调效果的关键。ChatGLM-6B 支持标准的 Instruction Tuning 格式，通常采用 JSON 或 JSONL 格式。

5.1 数据格式规范

每条数据应包含 instruction（指令）、input（输入上下文，可选）、output（期望输出）三个字段。

{
  "instruction": "一名年龄在 70 岁的女性，出现了晕厥、不自主颤抖、情绪不稳等症状，请详细说明其手术治疗和术前准备。",
  "input": "",
  "output": "该病需要进行电极导线、脉冲发生器和永久心脏起搏器置入术，并需要使用镇静药物和局麻对病人进行手术治疗。术前准备包括 1-3 天的时间进行术前检查和生活方式的调整。"
}

5.2 数据清洗与增强

1. 去重: 移除重复的问答对，防止模型过拟合。
2. 脱敏: 确保所有患者信息（姓名、ID、联系方式）已匿名化处理。
3. 格式化: 统一标点符号，修正错别字，确保医学术语准确。
4. 扩充: 对于样本较少的疾病类型，可通过同义词替换或模板生成进行数据增强。

将清洗后的数据保存为 data.json 或 train.json 文件，确保编码为 UTF-8。

6. 模型训练配置

6.1 训练脚本说明

项目根目录下通常包含 run.sh 启动脚本。需根据服务器 GPU 数量调整参数。

#!/bin/bash
export CUDA_VISIBLE_DEVICES=0,1

python finetune.py \
    --model_name_or_path ./models/ChatGLM-6B \
    --data_path ./data/train.json \
    --output_dir ./output/glm-lora \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --learning_rate 1e-4 \
    --num_train_epochs 3 \
    --do_train \
    --use_lora \
    --lora_r 8 \
    --lora_alpha 32 \
    --lora_dropout 0.1

关键参数解释：

• --per_device_train_batch_size: 单卡批次大小，显存不足时调小。
• --gradient_accumulation_steps: 梯度累积步数，等效增大 Batch Size。
• --learning_rate: 学习率，LoRA 微调通常较小（1e-4 ~ 1e-5）。
• --lora_r: LoRA 秩，控制低秩矩阵维度，影响参数量与效果。
• --lora_alpha: LoRA 缩放系数，通常设为 r 的 2 倍。

6.2 监控训练过程

训练过程中，使用 TensorBoard 或 WandB 监控 Loss 变化。若 Loss 震荡剧烈，可降低学习率；若 Loss 下降缓慢，可增加 Epoch 或检查数据质量。

7. 合并 LoRA 参数文件

训练完成后，生成的权重文件仅为 LoRA 适配器（Adapter），需与原模型权重合并才能独立部署。

执行合并脚本：

python merge_lora.py

脚本内部会加载原始 ChatGLM-6B 权重与训练好的 LoRA 权重，融合后保存为新的模型目录。合并后的模型可直接用于推理，无需额外加载 Adapter。

注意事项：

• 确保合并脚本中的 model_path 指向正确的原始模型路径。
• 合并过程可能耗时较长，视显存大小而定。

8. 推理与测试

8.1 推理脚本

使用 predict.py 进行本地推理测试。修改脚本中的模型路径及生成参数。

import argparse
import torch
from model import MODE
import os

os.environ['CUDA_VISIBLE_DEVICES'] = '0'

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--device", type=str, default="0")
    parser.add_argument("--mode", type=str, default="glm")
    parser.add_argument("--model_path", type=str, default="./output/glm-merged")
    parser.add_argument("--max_length", type=int, default=500)
    parser.add_argument("--do_sample", type=bool, default=True)
    parser.add_argument("--top_p", type=float, default=0.8)
    parser.add_argument("--temperature", type=float, default=0.8)
    return parser.parse_args()

def predict_one_sample(instruction, input, model, tokenizer, args):
    result, _ = model.chat(tokenizer, instruction + input, max_length=args.max_length, 
                           do_sample=args.do_sample, top_p=args.top_p, temperature=args.temperature)
    return result

if __name__ == '__main__':
    args = parse_args()
    # 加载合并后的模型
    model = MODE[args.mode]["model"].from_pretrained(args.model_path, device_map="auto", 
                                                     torch_dtype=torch.float16)
    tokenizer = MODE[args.mode]["tokenizer"].from_pretrained(args.model_path)
    
    instruction = "一位年轻女性患者出现了风团性斑块、丘疹等症状，请问此病可以由哪些科室进行治疗？"
    input = ""
    r = predict_one_sample(instruction, input, model, tokenizer, args)
    print(r)

8.2 生成参数调优

• Temperature: 控制随机性。医疗场景建议较低（0.1-0.5），保证回答确定性；创意场景可较高（0.7-1.0）。
• Top_p: 核采样阈值，限制候选词范围，通常设为 0.8-0.9。
• Max Length: 限制最大生成长度，防止截断长文本。

9. 常见问题与优化

9.1 显存溢出 (OOM)

若训练中出现 OOM 错误：

1. 减小 per_device_train_batch_size。
2. 启用 gradient_checkpointing 以节省显存。
3. 使用 fp16 或 bf16 混合精度训练。

9.2 模型幻觉

医疗模型易产生幻觉（编造事实）。解决方法：

1. 增加高质量、权威来源的训练数据。
2. 在 Prompt 中增加约束，如'仅依据提供的知识库回答'。
3. 引入 RAG（检索增强生成）架构。

9.3 量化部署

为降低推理成本，可将模型量化为 INT8 或 INT4 版本，配合 vLLM 或 FastChat 服务框架，提升吞吐量。

10. 总结

本指南详细介绍了基于 ChatGLM-6B 进行医疗领域大模型微调的完整链路。从环境搭建到数据准备，再到训练与部署，每一步都经过实践验证。通过 LoRA 技术，我们能够在有限资源下实现高效的领域适配。未来，随着多模态数据的引入及更大规模基座模型的迭代，医疗 AI 将在辅助诊断、健康管理等方面发挥更重要的作用。开发者应持续关注数据安全与伦理规范，确保技术应用符合行业标准。