LLaMA-Factory 大模型高效微调实战指南
背景介绍
在构建任务相关数据时，如果能通过网页界面轻松完成微调（Fine-tuning）操作，将大大减轻开发工作量。2024 年 ACL 会议上，北航与北大合作发表了论文《LLAMAFACTORY: 统一高效微调超百种语言模型》。该项目集成了顶尖的训练效率技术，用户无需编写代码，即可通过网页界面 LLAMABOARD 对上百种语言模型进行个性化微调。
项目发布前已在 GitHub 上获得大量关注，彰显了其在社区中的巨大影响力。
微调界面预览（LLaMA Board）
只需一键启动 WebUI，即可接入 LLaMA Board。这是一个直观的操作面板，允许用户轻松选择数据集、自定义各种参数。体验从预览配置、保存训练设置到加载配置、启动高效训练的无缝流程。界面实时展示训练损失曲线，让用户随时掌握微调进度与效果。
如何准备微调环境？
第一步：安装环境（以 Conda 为例）
# 第 1 步 clone LLaMA-Factory 仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
# 第 2 步 进入目录
cd LLaMA-Factory
# 第 3 步 创建基础环境（推荐 Python 3.10）
conda create -n llama_factory python=3.10
# 第 4 步 激活 conda 环境
conda activate llama_factory
# 第 5 步 安装依赖（清华源加速）
pip install -e .[metrics] -i https://pypi.tuna.tsinghua.edu.cn/simple
可选扩展： 如果需要 DeepSpeed 加速（适用于显存受限场景），请额外安装：
pip install deepspeed==0.14.3
第二步：构造数据
微调数据通常采用 ShareGPT 格式。以下是一个标准的数据集示例：
[
{
"id": "p1"
