在 AutoDL 上用 LLaMA-Factory 微调 GPT-OSS-20B：训练、合并与 vLLM 部署全记录

4. 安装 SwanLab

pip install swanlab

训练过程中的损失曲线、学习率等都可以在 SwanLab 网页端看到，配置简单，体验不错。

训练配置

数据集

这次用到的数据集就两个：

• identity_fixed：自定义模型身份，告诉它'我是谁，谁开发的'。
• alpaca_en_demo：通用指令微调数据集，用来增强对话能力。

identity_fixed 示例：

[{"instruction":"你好","input":"","output":"您好，我是智能小助手，一个由刘大漂亮开发的 AI 助手。"},{"instruction":"你是谁？","input":"","output":"您好，我是智能小助手，由刘大漂亮发明。我可以为您提供多种多样的服务。"}]

配置文件

编辑 examples/train_lora/gpt_lora_sft.yaml，关键参数如下：

model_name_or_path: /root/autodl-tmp/models/gpt-oss-20b
lora_rank: 8
lora_alpha: 16
lora_dropout: 0.05

stage: sft
do_train: true
finetuning_type: lora
lora_target: all

dataset: identity_fixed,alpaca_en_demo
template: gpt_oss
cutoff_len: 2048
max_samples: 1000

per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1

val_size: 0.1
eval_strategy: steps
eval_steps: 100
load_best_model_at_end: true

bf16: true
gradient_checkpointing: true

report_to: swanlab
run_name: gpt-oss-20b-lora

训练步数大致这么估算：数据集总量 1090 条，划分 10% 验证集后训练集约 981 条；有效 batch 大小为 per_device_train_batch_size * gradient_accumulation_steps = 1 * 8 = 8；每个 epoch 步数约为 981 / 8 ≈ 123 步；总共 3 个 epoch，所以大约 369 步。

启动训练

cd /root/autodl-tmp/LLaMA-Factory
llamafactory-cli train examples/train_lora/gpt_lora_sft.yaml \
2>&1|tee logs/training_$(date +%Y%m%d_%H%M%S).log

第一次运行时，终端会提示你输入 SwanLab 的 API key，去设置页面复制粘贴就行。

![图片]

训练过程中打开 SwanLab 就能看到 loss 下降曲线和学习率变化。

![图片]

权重合并（可选）

权重合并就是把 LoRA 适配器和基础模型融合成一个完整的模型文件。这一步不是必须的，vLLM 可以直接加载 LoRA 进行推理。但如果之后想用其他更简单的推理框架，或者生产环境追求一点性能提升，合并可能会更方便。

合并命令：

cd /root/autodl-tmp/LLaMA-Factory
llamafactory-cli export \
 --model_name_or_path /root/autodl-tmp/models/gpt-oss-20b \
 --adapter_name_or_path saves/gpt-20b/lora/sft \
 --export_dir models/gpt20b_lora_sft \
 --export_size 2 \
 --export_legacy_format false

参数简单明了：基础模型路径、LoRA 权重路径、导出路径。

vLLM 推理部署

安装 vLLM

pip install vllm fastapi uvicorn pydantic -i https://pypi.tuna.tsinghua.edu.cn/simple

vLLM 对 LoRA 的支持很到位，推荐直接加载 LoRA 权重的方式部署，省去合并步骤。而且可以同时加载多个 LoRA 模块，方便 A/B 测试。

启动服务（记得把 your-secret-api-key 换成自己的）：

export FLASH_ATTN_FORCE_FA2=1
export DISABLE_FLASH_ATTN_3=1
vllm serve /root/autodl-tmp/models/gpt-oss-20b \
 --enable-lora \
 --lora-modules gpt-lora=/root/autodl-tmp/LLaMA-Factory/saves/gpt-20b/lora/sft \
 --tokenizer /root/autodl-tmp/models/gpt-oss-20b \
 --tensor-parallel-size=1 \
 --trust-remote-code \
 --enable-prefix-caching \
 --gpu-memory-utilization 0.9 \
 --host 0.0.0.0 \
 --port 80 \
 --api-key your-secret-api-key

这里设置了两个关键环境变量：FLASH_ATTN_FORCE_FA2=1 和 DISABLE_FLASH_ATTN_3=1，用来强制使用 Flash Attention 2，避免 H20 上因不支持 Flash Attention 3 而报错。

启动成功后，终端会显示类似 'Uvicorn running on http://0.0.0.0:80' 的信息。

![图片]

测试一下：

curl -X POST "http://你的 IP:80/v1/chat/completions" \
-H "Authorization: Bearer your-secret-api-key" \
-H "Content-Type: application/json" \
-d '{ "model": "gpt-lora", "messages": [ {"role": "user", "content": "你好，请介绍一下你自己"} ], "temperature": 0.7, "max_tokens": 200 }'

如果能收到正常回复，说明部署成功。

![图片]

如果已经做过权重合并，也可以用合并后的模型直接推理，命令更简洁：

vllm serve /root/autodl-tmp/LLaMA-Factory/models/gpt20b_lora_sft \
 --host 0.0.0.0 \
 --port 80 \
 --trust-remote-code \
 --gpu-memory-utilization 0.9 \
 --max-model-len 4096 \
 --served-model-name gpt-procurement \
 --api-key your-secret-api-key

两种方式的对比：

实际体验下来，性能差异在采购对话这种短文本场景下几乎感觉不出来，所以日常调试还是直接用 LoRA 动态加载最方便。

踩坑记录

Token 不匹配

训练过程中可能会遇到这个错误：

{"error":{"message":"Unexpected token 200002 while expecting start token 200006","type":"BadRequestError"}}

原因是 GPT-OSS 的对话模板里默认在回复末尾添加了 <|end|>，但 tokenizer 认得的是 <|endoftext|>，导致解析出错。修复方法很简单，编辑 LlamaFactory-0.9.4/src/llamafactory/data/template.py，找到 gpt_oss 模板的定义，把 format_assistant=StringFormatter(slots=["{{content}}<|end|>"]) 改成 format_assistant=StringFormatter(slots=["{{content}}"])，然后重新训练。

Python 版本

安装依赖时如果看到 Package 'llamafactory' requires a different Python: 3.10.16 not in '>=3.11.0' 这样的错误，说明 Python 版本太低。新建一个 conda 环境就行：

conda create -n py311 python=3.11
conda activate py311

整体耗时

整套流程走下来，大概需要：

• 环境配置：30 分钟
• 模型下载：1–2 小时（取决于网络）
• 模型训练：约 1 小时（369 步）
• 权重合并（可选）：10 分钟

加上踩坑和调试，一个下午绰绰有余。

参考资料

• LLaMA-Factory GitHub
• AutoDL 官方文档
• vLLM 官方文档
• SwanLab 官网