大模型微调实战：ChatGLM-6B 微调经验与开源项目汇总

技术补充： Freeze 方法虽然显存友好，但可训练参数较少，可能导致模型难以充分学习新任务的特征分布。适用于数据量较小且任务与预训练任务相似度较高的场景。

P-Tuning 方法

P-Tuning 方法是一种针对大模型的 Soft-Prompt 方法。它不更新模型权重，而是引入可训练的连续向量（Prompt Embedding）来引导模型生成。

参考 ChatGLM 官方代码 (https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md)。

• P-Tuning: 仅对大模型的 Embedding 加入新的参数。
• P-Tuning V2: 将大模型的 Embedding 和每一层前都加上新的参数，效果通常优于基础版。

微调代码见 finetuning_pt.py，核心配置如下：

config = ChatGLMConfig.from_pretrained(args.model_dir)  
config.pre_seq_len = args.pre_seq_len  
config.prefix_projection = args.prefix_projection  
  
model = ChatGLMForConditionalGeneration.from_pretrained(args.model_dir, config=config)  
  
for name, param in model.named_parameters():  
    if not any(nd in name for nd in ["prefix_encoder"]):  
        param.requires_grad = False  

当 prefix_projection 为 True 时，为 P-Tuning-V2 方法；为 False 时，为 P-Tuning 方法。可设置参数包含 train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text、pre_seq_len 等。

启动命令示例：

CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_pt.py --num_train_epochs 5 --train_batch_size 2 --pre_seq_len 16  

技术补充： P-Tuning 通过引入额外的 Prompt 向量，使得模型在不更新主权重的情况下适应新任务。P-Tuning V2 通过在每一层添加投影层，增强了提示信息的表达能力，通常能获得更好的收敛效果。

LoRA 方法

LoRA (Low-Rank Adaptation) 方法是在大型语言模型上对指定参数增加额外的低秩矩阵。在模型训练过程中，仅训练额外增加的参数。当'秩值'远小于原始参数维度时，新增的低秩矩阵参数量很小，达到仅训练很小的参数就能获取较好的结果。

LoRA 论文：https://arxiv.org/abs/2106.09685 官方代码：https://github.com/microsoft/LoRA HuggingFace 封装的 peft 库：https://github.com/huggingface/peft

微调代码见 finetuning_lora.py，核心配置如下：

model = ChatGLMForConditionalGeneration.from_pretrained(args.model_dir)  
config = LoraConfig(r=args.lora_r,  
                    lora_alpha=32,  
                    target_modules=["query_key_value"],  
                    lora_dropout=0.1,  
                    bias="none",  
                    task_type="CAUSAL_LM",  
                    inference_mode=False,  
                    )  
  
model = get_peft_model(model, config)  

可设置参数包含 lora_r、lora_alpha 等超参数。启动命令示例：

CUDA_VISIBLE_DEVICES=0 deepspeed finetuning_lora.py --num_train_epochs 5 --train_batch_size 2 --lora_r 8  

注意： 对于结果需要保持一致的任务（即关掉 dropout，解码关掉 do_sample），需要保存模型的 adapter_config.json 文件中，将 inference_mode 参数修改成 false，并将模型执行 model.eval() 操作。主要原因是 ChatGLM 模型代码中未采用 Conv1D 函数，需注意推理模式的切换。

三元组抽取实验结果

实验环境配置：最大长度为 768，Batch 大小为 2，训练轮数为 5，fp16 训练，采用 DeepSpeed 的 Zero-1 训练。

• PT: 官方 P-Tuning V2 训练方法。
• PT-Only-Embedding: 仅对 Embedding 进行 soft-prompt。
• Freeze: 仅训练模型后五层参数。
• Lora: 采用低秩矩阵方法训练，秩为 8。

由于之前训练 PT 在 48G-A40 显卡上会出现 OOM（显存溢出），因此之前进行 PT 实验时对模型开启了 gradient_checkpointing_enable，使得模型显存占用变小，但训练时长增加。时间换空间是解决显卡资源问题的常用手段，简单玩玩还可以，如果想要模型达到最优效果或快速看到效果，建议使用更高性能的算力资源。

下面实验结果均是在租用的 80G-A100 上进行的实验，与 Github 里用的 A40 的实验结果会有些差异，主要在训练时长（纯训练速度，剔除模型保存的时间）。实际上，要训练一个大模型，多个 A100 是必不可少的，可以减少很多模型并行的操作，效果上也更好把控一些。

结果分析

1. 效果排序: PT > Freeze > Lora > PT-Only-Embedding。
2. 速度排序: PT-Only-Embedding > Lora > Freeze > PT。
3. PT-Only-Embedding 效果不理想: 发现在训练时，最后的 loss 仅能收敛到 2.x，而其他机制可以收敛到 0.x。分析原因为输出内容形式与原有语言模型任务相差很大，仅增加额外 Embedding 参数，不足以改变复杂的下游任务特征映射。
4. 显存占用: PT 方法占用显存更大，因为也增加了很多额外参数。
5. 推理耗时: 测试耗时采用 float16 进行模型推理。由于其他方法均增加了额外参数，因此其他方法的推理耗时会比 Freeze 方法要高。当然由于是生成模型，生成的长度也会影响耗时。
6. 灾难性遗忘: 模型在指定任务上微调之后，并没有丧失原有能力。例如生成'帮我写个快排算法'，依然可以生成快排代码。由于大模型微调都采用大量 instruction 进行模型训练，仅采用单一的指令进行微调时，对原来其他的指令影响不大，因此并没导致原来模型的能力丧失。

上面测试仅代表个人测试结果。很多同学在微调后出现了灾难性遗忘现象，但我这边并没有出现。对'翻译任务'、'代码任务'、'问答任务'进行测试，采用 freeze 模型，可以用 test_forgetting.py 进行测试。

中文开源大模型&项目汇总

虽然市面上出来很多大模型，但 Open 且中文可直接使用的并不多。以下对中文开源大模型、数据集和项目进行汇总，方便开发者快速上手。

中文开源大模型

直接可微调，无需指令增量训练：

• ChatGLM-6B: https://huggingface.co/THUDM/chatglm-6b
• ChatYuan-large-v2: https://huggingface.co/ClueAI/ChatYuan-large-v2

原始模型多语言 or 英文，需要中文指令数据集增量训练：

• BloomZ: https://huggingface.co/bigscience/bloomz
• LLama: https://github.com/facebookresearch/llama
• Flan-T5: https://huggingface.co/google/flan-t5-xxl
• OPT: https://huggingface.co/facebook/opt-66b

中文开源指令数据

下面中文指令集，大多数从 Alpaca 翻译而来，请看下面项目中 data 目录。目前通过 ChatGPT 或者 GPT4 作为廉价标注工为自己的数据进行数据标注是一个不错的思路。

1. https://github.com/LC1332/Chinese-alpaca-lora
2. https://github.com/hikariming/alpaca_chinese_dataset
3. https://github.com/carbonz0/alpaca-chinese-dataset
4. https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM
5. https://github.com/LianjiaTech/BELLE
6. https://huggingface.co/datasets/JosephusCheung/GuanacoDataset

开源项目总结

总结下面较火的开源项目：

• BELLE: https://github.com/LianjiaTech/BELLE
• ChatGLM: https://github.com/THUDM/ChatGLM-6B
• Luotuo-Chinese-LLM: https://github.com/LC1332/Luotuo-Chinese-LLM
• stanford_alpaca: https://github.com/tatsu-lab/stanford_alpaca

总结与展望

目前各大厂的大模型陆陆续续放出，堪称百家争鸣！个人玩家也是全面拥抱，想尽一切办法来训练微调大模型。只愿大家以后可以实现'大模型'自由。愿再无'model-as-a-service'。

在实际应用中，建议根据硬件资源选择合适的微调策略。如果显存充足，可以尝试全量微调或 P-Tuning V2 以获得最佳效果；如果资源受限，LoRA 或 Freeze 是性价比更高的选择。此外，数据质量对微调效果至关重要，构建高质量的指令数据集往往比调整超参数更能提升模型性能。未来随着 PEFT 技术的演进，预计会有更多轻量级且高效的微调方案涌现，降低大模型落地的门槛。