使用魔搭平台与 LLaMA Factory 进行大模型微调实操指南

补充说明：安装依赖的过程中，可能会提示缺少某个包或需要升级 pip，按照提示执行即可。

安装完成后，侧边栏文件夹中会出现「LLaMA-Factory」文件夹。

当终端出现完成提示时，说明依赖安装完成。

3. 下载模型

为减少下载时间，选择轻量模型「Qwen2.5-0.5B-Instruct」。

第一步：在 LLaMA-Factory 目录下，创建新文件夹「newmodels」。 第二步：复制以下代码，粘贴到终端，下载模型：

git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git

4. 准备训练数据集

从魔搭数据集下载轻量数据集。

第一步：访问数据集地址：https://modelscope.cn/datasets/meadhu/taobao-positive-sentence/files，找到对应文件下载。

第二步：数据集格式转换。下载的数据集是 csv 格式，模型训练需要 json 格式。运行脚本将文件保存为「train_converted.json」。

第三步：注册数据集。打开项目目录中的 dataset_info.json 文件，将转换后的「train_converted.json」文件名称和路径写入索引中。

注意：写入路径时，一定要和存放文件的实际路径一致。

3、启动模型训练

LLaMA Factory 提供了 WebUI 界面，无需写复杂的训练指令。

第一步：确保处于「LLaMA-Factory」目录下，执行以下指令启动 WebUI 界面：

cd LLaMA-Factory
llamafactory-cli webui

第二步：启动 WebUI 后，终端会出现一个网址，点击该网址进入训练配置界面。

第三步：配置训练参数（重点填写 3 个路径）：

• 基础模型路径：选择下载的「Qwen2.5-0.5B-Instruct」模型。
• 训练数据集路径：选择转换后的「train_converted.json」文件。
• 训练结果保存路径：自定义路径（如 output）。

配置完成后，界面如下所示：

第四步：点击「开始训练」，等待模型训练完成。终端会实时显示训练进度和损失值（loss）变化。

训练小知识：模型损失值是衡量预测结果与真实数据集差距的指标，目标是「最小化损失值」。入门实操中，损失值处于合理范围（如 0.5-2.0 之间）即视为成功。

训练完成后，WebUI 界面会显示最终结果：

4、本地测试聊天

训练完成后，先在 WebUI 界面上测试模型效果。

第一步：在 WebUI 界面，切换到「Chat」标签页。 第二步：点击「检查点路径」，选择刚才训练好的模型（output 路径）。 第三步：点击「加载模型」，等待加载完成。

第四步：输入问题，测试模型回答。提问需贴合数据集场景（如「推荐一句淘宝好评」）。

只要模型的回答和训练数据集相关，说明微调成功。

5、导出模型

将训练好的模型导出到本地，转换为 GGUF 格式，以便在其他工具中使用。

1. 创建模型导出目录

第一步：在 LLaMA-Factory 目录下，创建新文件夹「outputmodel」。 第二步：在 WebUI 界面，找到「导出模型」选项，选择导出路径为「outputmodel」，点击「导出」。

导出完成后，文件夹中会出现训练好的模型文件：

2. 安装 GGUF 库并转换模型格式

第一步：新打开一个终端，回到 LLaMA-Factory 目录：

cd /mnt/workspace/LLaMA-Factory
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp/gguf-py
pip install --editable .

执行完成后，侧边栏会多出「llama.cpp」文件夹。

3. 执行格式转换

第一步：在 LLaMA-Factory 目录下，创建新文件夹「megred-model-path」。 第二步：回到 llama.cpp 目录，执行以下代码（注意修改路径）：

cd ..
python convert_hf_to_gguf.py /mnt/workspace/LLaMA-Factory/outputmodel \
--outfile /mnt/workspace/LLaMA-Factory/megred-model-path \
--outtype q8_0

执行完成后，GGUF 模型保存到指定文件夹，可下载到本地。

6、本地使用模型

下载好 GGUF 模型后，可使用 Jan.ai 等工具本地启动模型。

方法 1：使用 Jan.ai 工具

第一步：下载 Jan.ai 工具客户端，安装完成后打开。 第二步：打开设置（Setting），找到「Model Provider」，点击「Import」，导入下载的 GGUF 模型。

第三步：导入完成后，点击「Start」，进入对话界面，输入问题即可聊天。

方法 2：使用 Ollama 工具

如果是程序员，也可以用 Ollama 工具加载模型，将 GGUF 模型转换为 Ollama 支持的格式，导入后可被 Dify、CherryStudio 等工具调用。