Qwen3 模型 LoRA 微调实战（基于 LLaMA-Factory）

对于上述格式的数据，dataset_info.json 中的描述应为：

"数据集名称":{"file_name":"data.json","columns":{"prompt":"instruction","query":"input","response":"output","system":"system","history":"history"}}

2. ShareGPT 格式

相比 Alpaca 格式，ShareGPT 格式支持更多角色种类（如 human、gpt、observation、function_call 等），构成对象列表呈现在 conversations 列中。

示例：

{"conversations":[{"from":"human","value":"你好，我出生于 1990 年 5 月 15 日。你能告诉我今天几岁了吗？"},{"from":"function_call","value":"{\"name\": \"calculate_age\", \"arguments\": {\"birthdate\": \"1990-05-15\"}}"},{"from":"observation","value":"{\"age\": 31}"},{"from":"gpt","value":"根据我的计算，你今天 31 岁了。"}],"tools":"[{\"name\": \"calculate_age\", \"description\": \"根据出生日期计算年龄\", \"parameters\": {\"type\": \"object\"}}]"}

注意：human 和 observation 必须出现在奇数位置，gpt 和 function 必须出现在偶数位置。

对于上述格式的数据，dataset_info.json 中的描述应为：

"数据集名称":{"file_name":"data.json","formatter":"sharegpt","columns":{"messages":"conversations","system":"system","tools":"tools"}}

3. 自定义数据集

我们将训练数据转换为 Alpaca 格式，然后在 data/dataset_info.json 中进行注册。例如商品文案生成数据集，原始格式如下：

{"content":"类型#裤*版型#宽松*风格#性感*图案#线条*裤型#阔腿裤","summary":"宽松的阔腿裤这两年真的吸粉不少..."}

需进行两步操作：

1. 复制该数据集到 data 目录下。
2. 修改 data/dataset_info.json 完成注册，定义输入输出映射关系。

{"adgen_local":{"file_name":"AdvertiseGen/train.json","columns":{"prompt":"content","response":"summary"}}}

三、LoRA 指令微调（命令行）

准备好数据集后，开始准备训练。以下使用命令行版本进行训练：

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \
--stage sft \
--do_train \
--model_name_or_path <local_model_path> \
--dataset alpaca_gpt4_zh,identity,adgen_local \
--dataset_dir ./data \
--template qwen3 \
--finetuning_type lora \
--output_dir <local_lora_save_path> \
--overwrite_cache \
--overwrite_output_dir \
--cutoff_len 1024 \
--preprocessing_num_workers 16 \
--per_device_train_batch_size 2 \
--per_device_eval_batch_size 1 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--logging_steps 50 \
--warmup_steps 20 \
--save_steps 100 \
--eval_steps 50 \
--evaluation_strategy steps \
--load_best_model_at_end \
--learning_rate 5e-5 \
--num_train_epochs 5.0 \
--max_samples 1000 \
--val_size 0.1 \
--plot_loss \
--fp16

训练完成后，在 output_dir 下主要包含三部分：

• adapter 开头的文件夹：LoRA 保存结果，用于后续推理融合。
• training_loss 和 trainer_log 等：记录训练过程指标。
• 其他参数备份文件。

四、可视化/零代码微调

# 开启可视化操作界面
set CUDA_VISIBLE_DEVICES=0
llamafactory-cli webui

1. 模型下载源

建议选择 ModelScope，HuggingFace 有时连接不稳定。

2. 微调方法

根据需要选择，本例选择 LoRA。

3. 数据集

可选择 LLaMA-Factory 自带的，也可使用自定义数据集。

4. 计算类型

根据显卡性能选择（如 fp16/bf16）。

5. 模型名称

根据显卡档次选择模型，显存不足可能导致加载失败。

6. 导出微调过的模型

创建文件夹，在 Export 部分填入绝对路径，检查点路径选择要合并的 checkpoint。

五、常见问题排查

1. CUDA 未找到

解决方法：在虚拟环境中更换与当前 CUDA 版本匹配的 PyTorch 版本。可参考 PyTorch 官网获取历史版本。

2. ValueError: Your setup doesn't support bf16/gpu

此错误表示 GPU 不支持 bfloat16 格式。大多数消费级 NVIDIA 显卡不支持 bf16（仅 RTX 30/40 系列部分型号支持）。可在 UI 界面调整计算精度设置。

总结

本文介绍了使用 LLaMA-Factory 框架对 Qwen3 模型进行 LoRA 微调的完整流程，涵盖环境搭建、数据处理、训练配置及问题排查，帮助开发者快速实现模型定制化训练。