基于 LLaMA-Factory 和 LoRA 在 AutoDL 上微调 GPT-OSS-20B 模型

3.2 安装依赖

cd /root/autodl-tmp/LLaMA-Factory
pip install -e '.[torch,metrics]' -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install evaluate scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simple
python -c "import llamafactory, torch; print('LLaMA-Factory 版本:', llamafactory.__version__)"

3.3 下载基础模型

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
modelscope download --model openai-mirror/gpt-oss-20b \
 --local_dir /root/autodl-tmp/models/gpt-oss-20b

💡 提示：模型下载需要较长时间，建议在不需要使用 GPU 时就开始下载。

3.4 安装 SwanLab

pip install swanlab

四、训练配置

4.1 数据集准备

本方案使用两个数据集：

1. identity_fixed：根据 identity 自定义模型身份信息
2. alpaca_en_demo：通用的指令微调数据集

identity_fixed 数据集示例：

[{"instruction":"你好","input":"","output":"您好，我是智能小助手，一个由刘大漂亮开发的 AI 助手。"},{"instruction":"你是谁？","input":"","output":"您好，我是智能小助手，由刘大漂亮发明。我可以为您提供多种多样的服务。"}]

4.2 配置文件

编辑 examples/train_lora/gpt_lora_sft.yaml：

# 模型配置
model_name_or_path: /root/autodl-tmp/models/gpt-oss-20b
lora_rank: 8
lora_alpha: 16
lora_dropout: 0.05
# 训练任务配置
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
# 数据集配置
dataset: identity_fixed,alpaca_en_demo
template: gpt_oss
cutoff_len: 2048
max_samples: 1000
# 训练参数
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
# 验证配置
val_size: 0.1
eval_strategy: steps
eval_steps: 100
load_best_model_at_end: true
# 精度配置
bf16: true
gradient_checkpointing: true
# 日志配置
report_to: swanlab
run_name: gpt-oss-20b-lora

4.3 训练步数计算

总样本 = 1090（数据集总量） 训练集 = 1090 × 0.9 = 981 个 有效 batch = 1 × 8 = 8 每轮步数 = 981 ÷ 8 ≈ 123 步 总步数 = 123 × 3 轮 = 369 步

4.4 开始训练

cd /root/autodl-tmp/LLaMA-Factory
llamafactory-cli train examples/train_lora/gpt_lora_sft.yaml \
2>&1|tee logs/training_$(date +%Y%m%d_%H%M%S).log

训练过程中可以通过 SwanLab 查看实时的训练曲线：

1. 访问 https://swanlab.cn
2. 登录后进入对应项目

即可查看 loss 曲线、learning_rate 等指标

![图片]

在模型训练过程中，会提示上传密钥，这时在 swanlab 设置中的密钥，根据终端提示粘贴到终端即可

![图片]

五、权重合并（可选）

权重合并是将 LoRA 适配器与基础模型合并为一个完整的模型文件。这是可选步骤，不合并也可以直接进行推理。

5.1 为什么要合并？

5.2 合并命令

cd /root/autodl-tmp/LLaMA-Factory
llamafactory-cli export \
 --model_name_or_path /root/autodl-tmp/models/gpt-oss-20b \
 --adapter_name_or_path saves/gpt-20b/lora/sft \
 --export_dir models/gpt20b_lora_sft \
 --export_size 2 \
 --export_legacy_format false

参数说明：

• --model_name_or_path：基础模型路径
• --adapter_name_or_path：LoRA 权重保存路径
• --export_dir：合并后模型的保存路径

六、vLLM 推理部署

vLLM 是高性能的推理引擎，支持两种部署方式：

6.1 安装 vLLM

pip install vllm fastapi uvicorn pydantic -i https://pypi.tuna.tsinghua.edu.cn/simple

6.2 方案一：直接加载 LoRA（不合并权重）⭐推荐

这种方式不需要合并权重，直接动态加载 LoRA 适配器：

export FLASH_ATTN_FORCE_FA2=1
export DISABLE_FLASH_ATTN_3=1
vllm serve /root/autodl-tmp/models/gpt-oss-20b \
 --enable-lora \
 --lora-modules gpt-lora=/root/autodl-tmp/LLaMA-Factory/saves/gpt-20b/lora/sft \
 --tokenizer /root/autodl-tmp/models/gpt-oss-20b \
 --tensor-parallel-size=1 \
 --trust-remote-code \
 --enable-prefix-caching \
 --gpu-memory-utilization 0.9 \
 --host 0.0.0.0 \
 --port 80 \
 --api-key your-secret-api-key

API 调用：

curl -X POST "http://你的 IP:80/v1/chat/completions" \
-H "Authorization: Bearer your-secret-api-key" \
-H "Content-Type: application/json" \
-d '{ "model": "gpt-lora", "messages": [ {"role": "user", "content": "你好，请介绍一下你自己"} ], "temperature": 0.7, "max_tokens": 200 }'

6.3 方案二：使用合并后的模型

如果已经完成了权重合并，可以使用合并后的模型：

vllm serve /root/autodl-tmp/LLaMA-Factory/models/gpt20b_lora_sft \
 --host 0.0.0.0 \
 --port 80 \
 --trust-remote-code \
 --gpu-memory-utilization 0.9 \
 --max-model-len 4096 \
 --served-model-name gpt-procurement \
 --api-key your-secret-api-key

![图片]

终端出现这个，就代表部署成功了，接下来就可以推理了。

API 调用：

curl -X POST "http://你的 IP:80/v1/chat/completions" \
-H "Authorization: Bearer your-secret-api-key" \
-H "Content-Type: application/json" \
-d '{ "model": "gpt-procurement", "messages": [ {"role": "user", "content": "你好，请介绍一下你自己"} ], "temperature": 0.7, "max_tokens": 200 }'

![图片]

成功调用！

6.4 两种方案对比

七、常见问题汇总

问题 1：Token 不匹配错误

错误信息：

{"error":{"message":"Unexpected token 200002 while expecting start token 200006","type":"BadRequestError"}}

原因：GPT-OSS 模型的模板文件中使用了 <|end|> 作为结束 token，但与实际 tokenizer 不匹配。

解决方案：

修改 LlamaFactory-0.9.4/src/llamafactory/data/template.py 中的 gpt_oss 模板：

# 修改前
format_assistant=StringFormatter(slots=["{{content}}<|end|>"]),
# 修改后
format_assistant=StringFormatter(slots=["{{content}}"]),

修改后需要重新训练模型。

问题 2：Python 版本不匹配

错误信息：

Package 'llamafactory' requires a different Python: 3.10.16 not in '>=3.11.0'

解决方案：创建 Python 3.11+ 的环境

conda create -n py311 python=3.11
conda activate py311

八、总结

本文详细记录了使用 LLaMA-Factory 在 AutoDL 上微调 GPT-OSS-20B 模型的完整流程，包括：

✅ 环境配置与依赖安装 ✅ 数据集准备与配置 ✅ 模型训练与监控 ✅ LoRA 权重合并 ✅ vLLM 推理部署 ✅ 常见问题解决方案

整个流程走下来，大约需要：

• 环境配置：30 分钟
• 模型下载：1-2 小时（视网络情况）
• 模型训练：约 1 小时（369 步）
• 权重合并：10 分钟

希望这篇教程能够帮助到你！

九、参考资料

• LLaMA-Factory GitHub
• AutoDL 官方文档
• vLLM 官方文档
• SwanLab 官网