基于魔搭与 LLaMA Factory 的大模型微调全流程实战

基于魔搭与 LLaMA Factory 的大模型微调全流程实战

大模型微调并非高不可攀，通过合理的工具链和清晰的步骤，开发者完全可以掌握这一技术。本文将拆解从环境搭建、数据准备到模型训练、导出及本地部署的完整流程，以 Qwen2.5-0.5B-Instruct 为例，带你完成一次完整的微调实践。

一、理解大模型微调的核心概念

在动手之前，理解微调的本质有助于后续操作。大模型的训练通常分为三个阶段：

1. 预训练（Pre-training）：相当于通识教育。模型通过海量文本学习语言规则、词汇逻辑，具备基础能力但缺乏针对性。
2. 微调（Fine-tuning）：相当于专项训练。利用特定领域的问答对（Q&A）训练模型，使其学会组织语言并精准回应具体需求。
3. RLHF（人类反馈强化学习）：相当于规范教育。根据人类反馈调整回答风格，使其更符合社会偏好，如更友善、严谨或合规。

微调的本质就是为已有基础的模型进行专项培训，使其适配垂直场景（如电商客服、行业知识库）的具体需求。

二、环境搭建与工具配置

无需高性能本地电脑，我们可以利用云端的免费 GPU 实例配合开源工具快速搭建环境。

1. 创建云端 Notebook 环境

访问魔搭平台实例创建页面，关联阿里云账号后选择免费的 GPU 环境。等待实例创建完成后，点击「查看 notebook」进入云端操作界面。

界面下方的终端是主要操作区，所有命令将在此执行。这相当于一台带 GPU 的云端电脑。

2. 安装 LLaMA Factory

LLaMA Factory 是一款友好的微调工具，支持多种主流模型。我们直接克隆其代码并配置依赖。

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
python -m venv .venv
source .venv/bin/activate
pip install -e ".[torch,metrics]"

注意：pip install 过程可能耗时较长，请耐心等待。若遇到依赖冲突，可尝试 pip install --no-deps -e . 作为备选方案。

安装成功后，侧边栏会出现 LLaMA-Factory 文件夹，终端提示符前会显示 (venv)，表示虚拟环境已激活。

三、模型下载与数据集准备

1. 下载轻量模型

为避免下载时间过长，新手建议从参数较小的模型入手。这里选用 Qwen2.5-0.5B-Instruct。

在 LLaMA-Factory 目录下创建 newmodels 文件夹，并执行以下命令：

git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git

2. 准备训练数据

微调需要问答格式的数据集。我们可以从魔搭社区下载轻量级数据集，并进行格式转换。

1. 下载数据：获取 CSV 格式的训练数据文件。
2. 格式转换：模型训练通常需要 JSON 格式。可使用 Python 脚本将 CSV 转换为 JSON，保存为 train_converted.json。
3. 注册数据集：打开项目目录下的 dataset_info.json 文件，将新数据集的名称和路径写入索引中。确保路径与实际存放位置一致。