LLaMa-Factory 开源大模型微调与部署实战

如果是偏好训练（如 DPO），则需要提供优质回答（chosen）和劣质回答（rejected）：

[{"instruction":"指令","input":"输入","chosen":"优质回答","rejected":"劣质回答"}]

ShareGPT 格式则更灵活，支持更多角色（human, gpt, observation 等）。消息列表需按顺序排列，奇数位为人类输入，偶数位为模型回复。

开始训练

训练可以通过 WebUI (llamafactory-cli webui) 或命令行完成。命令行参数较多，核心配置包括模型路径、训练阶段（stage）、微调类型（finetuning_type）以及学习率等。

实际运行时，注意根据显存调整 batch size 和梯度积累步数。如果显存紧张，推荐使用 LoRA 或 QLoRA 方案。

合并与量化

训练完成后，LoRA 适配器通常是独立的文件。为了推理方便，建议将基座模型与适配器合并，并根据需要量化以节省显存。

合并配置示例：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
export_dir: models/merged_model
export_size: 2

量化技术能有效减少显存占用并加速推理。LLaMA-Factory 支持 AQLM、AWQ、GPTQ 等多种方法，其中 QLoRA 在保持性能的同时大幅降低了资源需求。

推理与部署

推理时，只需指定模型路径和模板即可。默认使用 Huggingface 引擎，若追求速度可切换至 vLLM。

完整模型推理配置：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
template: llama3
infer_backend: huggingface

微调模型推理配置：

model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
adapter_name_or_path: saves/llama3-8b/lora/sft
finetuning_type: lora
infer_backend: huggingface

对于本地部署，Ollama 配合 Open WebUI 是个不错的选择，上手成本低。你可以先将模型转换为 GGUF 格式，再导入 Ollama 运行。

转换脚本示例：

python llama.cpp/convert_hf_to_gguf.py /path/to/model --outtype q8_0 --outfile model.gguf

创建 ModelFile 后，执行 ollama create 即可启动服务。这样就能在本地轻松体验微调后的模型效果了。