使用 LLaMA-Factory 进行大语言模型全流程微调实战

LLaMA-Factory 的核心优势在于集成了几乎所有主流国产模型（DeepSeek, Qwen, Yi）和海外模型（Llama 3, Mistral），并且原生支持 Gradio 可视化面板，让你在网页上点点鼠标就能完成模型训练。

一、环境搭建：打造训练环境

为了保证训练不因版本冲突而崩溃，建议使用 Conda 进行物理隔离。

1. 克隆项目

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git  
cd LLaMA-Factory

2. 安装核心依赖 (针对 CUDA 12.1 环境)

pip install -e .[metrics,bitsandbytes,qwen]

3. 验证是否安装成功

llamafactory-cli version

二、准备数据：注册自定义数据集

LLaMA-Factory 有一套自己的数据集管理逻辑。你需要将生成的 security_expert_data.jsonl 放入 data/ 目录，并在 data/dataset_info.json 中注册它。

注册示例：

{
  "my_security_data": {
    "file_name": "security_expert_data.jsonl",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output"
    }
  }
}

三、开始训练：WebUI 模式与脚本模式

1. 初学者推荐：WebUI 模式 在终端执行 llamafactory-cli webui。你会看到一个极其直观的界面。你需要设置：

   • 模型名称：选择 DeepSeek-V3 或 Qwen2.5-7B。
   • 微调方法：选择 lora。
   • 数据集：勾选你刚刚注册的 my_security_data。
   • 学习率：建议 5e-5。
   • 计算精度：显存够选 bf16，不够选 fp16 或 int4。