Qwen3 模型 LoRA 微调实战：基于 LLaMA-Factory

在 dataset_info.json 中注册时，字段映射如下：

"数据集名称":{
    "file_name":"data.json",
    "columns":{
        "prompt":"instruction",
        "query":"input",
        "response":"output",
        "system":"system",
        "history":"history"
    }
}

2. ShareGPT 格式

ShareGPT 格式更灵活，支持 human、gpt、function_call 等多种角色。数据通常包含 conversations 列表，其中奇数位置必须是 human/observation，偶数位置是 gpt/function。

示例：

{"conversations":[{"from":"human","value":"你好，我出生于 1990 年 5 月 15 日。你能告诉我今天几岁了吗？"},{"from":"gpt","value":"根据我的计算，你今天 31 岁了。"}],"tools":"[{\"name\": \"calculate_age\", \"description\": \"根据出生日期计算年龄\"}]"}

注册配置：

"数据集名称":{
    "file_name":"data.json",
    "formatter":"sharegpt",
    "columns":{
        "messages":"conversations",
        "system":"system",
        "tools":"tools"
    }
}

3. 自定义数据集

如果你的原始数据不是上述格式，可以先转换为 Alpaca 结构，然后在 data/dataset_info.json 中定义字段映射。例如将 content 映射为 prompt，summary 映射为 response。

"adgen_local":{
    "file_name":"AdvertiseGen/train.json",
    "columns":{
        "prompt":"content",
        "response":"summary"
    }
}

LoRA 指令微调

准备好数据后，可以使用命令行启动训练。这种方式能更直观地理解参数含义。

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \
--stage sft \
--do_train \
--model_name_or_path <local_model_path> \
--dataset alpaca_gpt4_zh,identity,adgen_local \
--dataset_dir ./data \
--template qwen3 \
--finetuning_type lora \
--output_dir <local_lora_save_path> \
--overwrite_cache \
--overwrite_output_dir \
--cutoff_len 1024 \
--preprocessing_num_workers 16 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--logging_steps 50 \
--warmup_steps 20 \
--save_steps 100 \
--eval_steps 50 \
--evaluation_strategy steps \
--load_best_model_at_end \
--learning_rate 5e-5 \
--num_train_epochs 5.0 \
--max_samples 1000 \
--val_size 0.1 \
--plot_loss \
--fp16

训练完成后，output_dir 下会生成三部分内容：以 adapter 开头的 LoRA 权重文件（后续用于推理融合）、记录训练指标的日志文件，以及参数备份。

可视化界面微调

如果不习惯敲命令，也可以开启 WebUI 界面进行操作。

set CUDA_VISIBLE_DEVICES=0
llamafactory-cli webui

在界面中配置时注意以下几点：

1. 模型下载源：建议优先选择 ModelScope，HuggingFace 有时连接不稳定。
2. 微调方法：显存有限时选择 LoRA。
3. 数据集：既可以用内置的，也可以加载自己注册的数据集。
4. 计算类型：根据显卡性能选择 fp16 或 bf16。
5. 模型大小：确保显卡显存足够加载基座模型，否则可能加载失败。
6. 导出模型：训练结束后，在 Export 部分填写绝对路径，选择要合并的检查点即可导出。

常见问题排查

1. CUDA 未找到

这通常是因为 PyTorch 版本与 CUDA 驱动不匹配。请去 PyTorch 官网查看对应版本的安装命令，或者更换国内镜像源下载。

2. ValueError: Your setup doesn't support bf16/gpu

这个错误意味着你的 GPU 不支持 bfloat16 精度。大多数消费级 NVIDIA 显卡（如 RTX 30/40 系列部分型号）并不原生支持 bf16。解决方法是在 UI 界面中将计算类型改为 fp16。

总结

通过 LLaMA-Factory，我们可以快速完成从数据清洗到模型微调的全流程。无论是命令行还是 WebUI，核心都在于正确配置数据集格式和合理的超参数。遇到报错时，结合日志和硬件规格调整往往能解决大部分问题。