基于 LLaMA-Factory 与 LoRA 微调 GPT-OSS-20B 模型实战

3. 下载基础模型

使用 ModelScope 下载模型文件（约 20GB）：

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
modelscope download --model openai-mirror/gpt-oss-20b \
--local_dir /root/autodl-tmp/models/gpt-oss-20b

建议在空闲时段开始下载，以节省计算资源计费时间。

四、训练配置

1. 数据集准备

本例使用两个数据集：自定义身份指令集 identity_fixed 和通用指令集 alpaca_en_demo。

identity_fixed 示例：

[
  {"instruction": "你好", "input": "", "output": "您好，我是智能助手，由开发者开发。"},
  {"instruction": "你是谁？", "input": "", "output": "您好，我是智能助手，由开发者发明。"}
]

2. 配置文件

编辑 examples/train_lora/gpt_lora_sft.yaml：

# 模型配置
model_name_or_path: /root/autodl-tmp/models/gpt-oss-20b
lora_rank: 8
lora_alpha: 16
lora_dropout: 0.05

# 训练任务配置
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

# 数据集配置
dataset: identity_fixed,alpaca_en_demo
template: gpt_oss  # 注意：此处应为 gpt_oss，而非 gpt
cutoff_len: 2048
max_samples: 1000

# 训练参数
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1

# 验证配置
val_size: 0.1
eval_strategy: steps
eval_steps: 100
load_best_model_at_end: true

# 精度配置
bf16: true
gradient_checkpointing: true

# 日志配置
report_to: tensorboard
run_name: gpt-oss-20b-lora

3. 步数预估

理解步数有助于规划时间：

总样本 = 1090
训练集 = 1090 × 0.9 = 981 个
有效 batch = 1 × 8 = 8
每轮步数 = 981 ÷ 8 ≈ 123 步
总步数 = 123 × 3 轮 = 369 步

4. 启动训练

cd /root/autodl-tmp/LLaMA-Factory
llamafactory-cli train examples/train_lora/gpt_lora_sft.yaml 2>&1 | tee logs/training_$(date +%Y%m%d_%H%M%S).log

五、权重合并（可选）

将 LoRA 适配器与基础模型合并为单一文件，便于后续部署。

cd /root/autodl-tmp/LLaMA-Factory
llamafactory-cli export \
--model_name_or_path /root/autodl-tmp/models/gpt-oss-20b \
--adapter_name_or_path saves/gpt-20b/lora/sft \
--export_dir models/gpt20b_lora_sft \
--export_size 2 \
--export_legacy_format false

六、vLLM 推理部署

vLLM 支持直接加载 LoRA 或合并后的模型。

1. 安装 vLLM

pip install vllm fastapi uvicorn pydantic -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 方案一：直接加载 LoRA（推荐）

无需合并权重，动态加载适配器：

export FLASH_ATTN_FORCE_FA2=1
export DISABLE_FLASH_ATTN_3=1

vllm serve /root/autodl-tmp/models/gpt-oss-20b \
--enable-lora \
--lora-modules gpt-lora=/root/autodl-tmp/LLaMA-Factory/saves/gpt-20b/lora/sft \
--tokenizer /root/autodl-tmp/models/gpt-oss-20b \
--tensor-parallel-size=1 \
--trust-remote-code \
--enable-prefix-caching \
--gpu-memory-utilization 0.9 \
--host 0.0.0.0 \
--port 80 \
--api-key your-secret-api-key

API 调用示例：

curl -X POST "http://你的 IP:80/v1/chat/completions" \
-H "Authorization: Bearer your-secret-api-key" \
-H "Content-Type: application/json" \
-d '{ "model": "gpt-lora", "messages": [ {"role": "user", "content": "你好，请介绍一下你自己"} ], "temperature": 0.7, "max_tokens": 200 }'

3. 方案二：使用合并后模型

若已完成权重合并：

vllm serve /root/autodl-tmp/LLaMA-Factory/models/gpt20b_lora_sft \
--host 0.0.0.0 \
--port 80 \
--trust-remote-code \
--gpu-memory-utilization 0.9 \
--max-model-len 4096 \
--served-model-name gpt-procurement \
--api-key your-secret-api-key

七、常见问题

问题 1：Token 不匹配错误

现象：

{"error":{"message":"Unexpected token 200002 while expecting start token 200006","type":"BadRequestError"}}

原因： GPT-OSS 模板中使用了 <|end|> 结束符，但与实际 tokenizer 不匹配。

解决： 修改 LlamaFactory-0.9.4/src/llamafactory/data/template.py 中的 gpt_oss 模板：

# 修改前
format_assistant=StringFormatter(slots=["{{content}}<|end|>"])

# 修改后
format_assistant=StringFormatter(slots=["{{content}}"])

修改后需重新训练。

问题 2：Python 版本不匹配

现象：

Package 'llamafactory' requires a different Python: 3.10.16 not in '>=3.11.0'

解决： 创建新环境：

conda create -n py311 python=3.11
conda activate py311

八、总结

本次实践完成了基于 LLaMA-Factory 的 GPT-OSS-20B 模型微调全流程。

• 环境搭建：约 30 分钟
• 模型下载：视网络情况 1-2 小时
• 模型训练：约 1 小时（369 步）
• 权重合并：约 10 分钟

通过上述步骤，可快速构建面向特定场景的大模型应用。