LLaMA-Factory 是一个统一高效的微调工具，支持通过 WebUI 或命令行对上百种语言模型进行个性化微调。本文详细介绍了环境搭建、数据格式准备、配置文件参数解析以及训练过程中的常见问题排查。内容涵盖 Conda 环境配置、ShareGPT 数据集构造、DeepSpeed 加速选项、LoRA 与全量微调的区别，以及微调后的模型推理部署方法，旨在帮助用户快速上手大模型微调实战。
在构建任务相关数据时，如果能通过网页界面轻松完成微调（Fine-tuning）操作，将大大减轻开发工作量。2024 年 ACL 会议上，北航与北大合作发表了论文《LLAMAFACTORY: 统一高效微调超百种语言模型》。该项目集成了顶尖的训练效率技术，用户无需编写代码，即可通过网页界面 LLAMABOARD 对上百种语言模型进行个性化微调。
项目发布前已在 GitHub 上获得大量关注，彰显了其在社区中的巨大影响力。
只需一键启动 WebUI，即可接入 LLaMA Board。这是一个直观的操作面板，允许用户轻松选择数据集、自定义各种参数。体验从预览配置、保存训练设置到加载配置、启动高效训练的无缝流程。界面实时展示训练损失曲线，让用户随时掌握微调进度与效果。
# 第 1 步 clone LLaMA-Factory 仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
# 第 2 步 进入目录
cd LLaMA-Factory
# 第 3 步 创建基础环境（推荐 Python 3.10）
conda create -n llama_factory python=3.10
# 第 4 步 激活 conda 环境
conda activate llama_factory
# 第 5 步 安装依赖（清华源加速）
pip install -e .[metrics] -i https://pypi.tuna.tsinghua.edu.cn/simple
可选扩展： 如果需要 DeepSpeed 加速（适用于显存受限场景），请额外安装：
pip install deepspeed==0.14.3
微调数据通常采用 ShareGPT 格式。以下是一个标准的数据集示例：
[
{
"id": "p1",
"system": "你是一个销售小助手，你的任务是邀请程序员购买 AI 大模型课程",
"conversations": [
{
"from": "user",
"value": "你好，你是？"
},
{
"from": "assistant",
"value": "同学你好，我这边是玄姐谈 AGI，想邀请你体验下我们的 AI 大模型课程产品"
},
{
"from": "user",
"value": "抱歉，刚买了一个年会员，还没到期。"
},
{
"from": "assistant",
"value": "不好意思同学，打扰到您了，那晚些时候再给您来电，祝您工作顺利，再见"
}
]
},
{
"id": "p2",
"system": "你是一个销售小助手，你的任务是邀请程序员购买 AI 大模型课程",
"conversations": [
{
"from": "user",
"value": "你们有什么优惠吗？"
},
{
"from": "assistant",
"value": "目前我们有早鸟价，欢迎咨询详情。"
}
]
}
]
进入 LLaMA-Factory/data 目录，找到 dataset_info.json 文件。
在 JSON 字典中添加自己的数据信息：
"my_task": {
"file_name": "finetune_data.json",
"formatting": "sharegpt",
"columns": {
"messages": "conversations",
"tools": "id"
},
"tags": {
"role_tag": "from",
"content_tag": "value",
"user_tag": "user",
"assistant_tag": "assistant"
}
}
file_name: 数据文件名，需确保文件位于 data 目录下。formatting: 数据格式化方式，通常为 sharegpt。columns: 映射字段名，根据实际 JSON 结构调整。tags: 角色标签定义，用于区分用户和助手。这种方式前端界面友好，适合快速验证。
运行命令：
CUDA_VISIBLE_DEVICES=0,1,2,3 llamafactory-cli webui
在浏览器中打开本地服务地址，选择模型、数据集及参数后点击启动。
适合生产环境或长时间训练。
export CUDA_VISIBLE_DEVICES=0,1,2,3
llamafactory-cli train ./sft_yaml/my_finetune.yaml
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
### method
stage: sft # 监督微调阶段
do_train: true # 开启训练
finetuning_type: full # 全量微调，也可改为 lora 节省显存
deeepspeed: examples/deepspeed/ds_z3_config.json # 使用 ZeRO-3 优化显存
### dataset
dataset: identity,alpaca_en_demo # 指定数据集名称
template: llama3 # 匹配模型模板
cutoff_len: 1024 # 最大截断长度，超过部分将被丢弃
max_samples: 1000 # 限制样本数量，调试时可减小
overwrite_cache: true # 覆盖缓存
preprocessing_num_workers: 16 # 预处理线程数
### output
output_dir: saves/llama3-8b/full/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true
### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 2
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: true # 混合精度训练
ddp_timeout: 180000000 # DDP 超时时间
### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500
关键参数说明：
finetuning_type: 推荐使用 lora 进行微调，可大幅降低显存需求；full 为全量更新权重。deepspeed: 若显存不足，可切换至 ds_z3_offload_config.json 启用 CPU Offload。cutoff_len: 根据显存大小调整，过大会导致 OOM（显存溢出）。微调过程完毕后，前往指定的输出目录 (output_dir)，在其中审视训练日志。这些记录涵盖关键指标，如训练损失（Loss）与验证损失，帮助全面了解模型学习进展与性能变化。
要更新大模型的适配器，只需简单选取目标模型即可完成配置。经过微调训练得到的大模型，其部署和调用方式与其他预训练大模型保持一致。
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"./saves/llama3-8b/full/sft",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("./saves/llama3-8b/full/sft")
prompt = "你好，介绍一下你自己。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
per_device_train_batch_size。deepspeed 或切换为 lora 微调模式。cutoff_len。dataset_info.json 中的 columns 映射是否与数据文件一致。learning_rate（通常 1e-4 到 5e-5 之间）。num_train_epochs 或检查数据质量。LLaMA-Factory 提供了从数据准备、配置管理到训练部署的一站式解决方案。通过合理的参数配置与环境优化，开发者可以高效地完成大模型的定制化微调，满足特定业务场景的需求。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online