LLaMaFactory 基于魔搭社区免费 GPU 微调大模型实战

2.2. 加载模型对话

点击【Chat】加载模型，参数说明如下：

2.2.1. 【推理引擎】

• Hugging Face：transformers 库，通用原生推理框架，适合调试、开发、原型验证。
• vLLM：高性能服务框架，专为高吞吐、低延迟设计，适合生产环境部署。
• SGLang：较新框架，专注于结构化生成和复杂推理任务。

2.2.2. 【推理数据类型】

• auto：自动选择最优精度。
• float32：最精确，显存占用最大。
• float16：显存减半，速度更快。
• bfloat16：动态范围更大，训练和推理更稳定。

2.2.3. 【额外参数】

例如 {"vllm_enforce_eager": true}，vLLM 专用参数。若当前推理引擎是 huggingface，该参数理论上不会生效，建议删除或仅保留 {} 以避免 JSON 格式错误。

点击【加载模型】后，控制台会自动下载对应模型。

也可手动下载魔搭社区模型，默认存储路径一致。访问 https://modelscope.cn/models，以 Qwen3.5-2B 为例：modelscope download --model Qwen/Qwen3.5-2B。

等待模型加载成功后，即可正常聊天。

三、数据集

魔搭社区提供大量数据集供下载使用，详情见：https://www.modelscope.cn/datasets

3.1. 获取源数据

示例选取【蚂蚁金融语义相似度数据集】，详情见：https://www.modelscope.cn/datasets/modelscope/afqmc

在【数据集文件】中下载 train.csv。该数据集用于评估问题间的语义相似性。 字段包括：sentence1（句子 1）、sentence2（句子 2）、label（0 表示不同、1 表示相同）。

3.2. 编写转换脚本

通过脚本将 csv 转换成 LLaMaFactory 需要的 json 格式。

3.3. 生成数据集

在 py 脚本目录下执行 python csv2Json.py 得到目标 json 文件。

将生成的 ant_finance_same.json 移动至 LLaMA-Factory 项目的 data 文件夹中，再修改 dataset_info.json 加入刚才生成的 json 配置。 dataset_info.json 是 LLaMaFactory 中用于注册和管理数据集的配置文件。

四、训练

4.1. 加载并预览数据集

在【数据集】中选中刚才配置的数据，点击【预览数据集】查看示例。

4.2. 执行微调

点击【开始】微调模型。GPU 环境超过 1 小时无操作将触发自动关闭功能，需注意保持活动。

此次训练预计需要约 10.5 小时，但单次实例连接时间最长为 8 小时。若遇到环境卡死，可尝试删减数据集。mini 版数据集仅 1000 条数据，训练需不到 20 分钟。

右侧趋势图表示训练过程中损失值 Loss 随训练步数 Step 变化的曲线。

• original 原始曲线：每个记录点实际计算出的损失值，存在随机噪声。
• smoothed 平滑曲线：对原始损失进行平滑处理，反映整体变化趋势。

4.3. 导出微调结果

训练完毕后，在【检查点路径】找到微调后的模型。

导出完成后查看路径下对应文件。

尝试加载微调后的模型进行对话测试。

五、转换 GGUF

为了能让 ollama 或 llama.cpp 直接使用，需要将 Hugging Face 格式模型转换成 GGUF 格式。

5.1. 创建环境

为避免冲突，建议创建独立 Python 环境：

python -m venv cppVenv
source cppVenv/bin/activate

克隆 llama.cpp 工具：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
pip install -r requirements.txt

5.2. 执行转换

python convert_hf_to_gguf.py /mnt/workspace/models/Qwen3.5-2B-output --outfile /mnt/workspace/gguf/Qwen3.5-2B-output.gguf --outtype q8_0

Qwen3.5-2B-output 为 model.safetensors 文件所在路径。 --outtype q8_0 表示量化类型，默认输出 f16 格式。

执行过程中可能出现异常：

ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.

原因是在合并模型时无法正确加载 tokenizer，通常因 tokenizer_config.json 缺少必要配置。

1. 检查当前 tokenizer_config.json 内容：

cat /mnt/workspace/models/Qwen3.5-2B-output/tokenizer_config.json | grep tokenizer_class

2. Qwen3.5-2B 模型对应的 tokenizer 类是 Qwen2Tokenizer，使用 sed 替换：

sed -i 's/"tokenizer_class": "TokenizersBackend"/"tokenizer_class": "Qwen2Tokenizer"/g' /mnt/workspace/models/Qwen3.5-2B-output/tokenizer_config.json

替换后再执行转换命令即可，最后得到 GGUF 文件。