LLaMaFactory 使用免费 GPU 环境微调大模型指南

额外参数

例如 {"vllm_enforce_eager": true}，vLLM 专用参数。若当前推理引擎为 huggingface，该参数理论上不生效，建议删除避免 JSON 格式错误。

点击【加载模型】后，控制台会自动下载对应模型。也可手动下载魔搭社区模型，默认存储路径一致。访问 https://modelscope.cn/models，以 Qwen3.5-2B 为例：modelscope download --model Qwen/Qwen3.5-2B。

等待模型加载成功后，即可正常聊天。

数据集

魔搭社区提供大量数据集供下载使用。详情见：https://www.modelscope.cn/datasets

3.1. 获取源数据

以【蚂蚁金融语义相似度数据集】为例。下载【train.csv】后，数据结构包含 sentence1、sentence2 及 label（0 表示不同，1 表示相同）。

3.2. 编写转换脚本

通过脚本将 csv 转换成 LLaMaFactory 需要的 json 格式。

3.3. 生成数据集

在 py 脚本目录下执行 python csv2Json.py 得到目标文件 json。将生成的 ant_finance_same.json 移动至【LLaMA-Factory】项目的【data】文件夹中，再修改 dataset_info.json 加入刚才生成的 json。

dataset_info.json 是 LLaMaFactory 中用于注册和管理数据集的配置文件。

训练

4.1. 加载并预览数据集

在【数据集】中选中配置的数据，点击【预览数据集】查看示例。

4.2. 执行微调

点击【开始】微调模型。注意 GPU 环境超过 1 小时无操作将触发自动关闭功能，需保持控制台活跃。

完整训练可能需要较长时间，但单次实例连接时间有限。演示中使用 mini 版数据集（1000 条数据），训练时间缩短至 20 分钟左右。

趋势图表示训练过程中损失值 Loss 随训练步数 Step 变化的曲线。

• original：原始曲线，存在噪声毛刺。
• smoothed：平滑曲线，反映整体变化趋势。

4.3. 导出微调结果

训练完毕后，在【检查点路径】找到微调后的模型。导出完成后查看路径下对应的文件。尝试加载微调后的模型进行对话测试。

转换 GGUF

为了能够让 ollama 或 llama.cpp 直接使用，需要将 Hugging Face 格式模型转换成 GGUF 格式的文件。

5.1. 创建环境

为避免冲突，建议创建一个独立的 Python 环境：

python -m venv cppVenv
source cppVenv/bin/activate

克隆 llama.cpp 工具：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
pip install -r requirements.txt

5.2. 执行转换

python convert_hf_to_gguf.py /mnt/workspace/models/Qwen3.5-2B-output --outfile /mnt/workspace/gguf/Qwen3.5-2B-output.gguf --outtype q8_0

--outtype q8_0 表示量化类型，默认输出 f16 格式。

执行过程中可能出现异常：

ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.

原因是在合并模型时，无法正确加载模型的 tokenizer 导致的，通常是因为模型文件夹中的 tokenizer_config.json 配置缺少必要的 tokenizer 文件。

1. 检查当前 tokenizer_config.json 内容：

cat /mnt/workspace/models/Qwen3.5-2B-output/tokenizer_config.json | grep tokenizer_class

2. Qwen3.5-2B 模型对应的 tokenizer 类是 Qwen2Tokenizer，使用 sed 直接替换：

sed -i 's/"tokenizer_class": "TokenizersBackend"/"tokenizer_class": "Qwen2Tokenizer"/g' /mnt/workspace/models/Qwen3.5-2B-output/tokenizer_config.json

替换后再执行转换命令即可，最后可以得到 GGUF 文件。

总结

本文介绍了在不花费成本的前提下，完成环境搭建到模型微调的整个流程。