LLaMaFactory 基于魔搭社区免费 GPU 微调大模型教程

编写转换脚本

将 CSV 转换为 LLaMaFactory 所需的 JSON 格式。示例脚本逻辑如下：

# csv2Json.py
import pandas as pd
import json

df = pd.read_csv('train.csv')
data = []
for _, row in df.iterrows():
    data.append({"instruction": "", "input": row['sentence1'], "output": str(row['label'])})
with open('ant_finance_same.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False)

执行脚本生成目标文件，移动至 data 文件夹，并修改 dataset_info.json 注册数据集。

加载并预览数据集

在 WebUI 中选择配置的数据集，点击【预览数据集】查看示例。

训练

执行微调

点击【开始】微调模型。注意云端环境有时长限制，长时间运行需保持活动状态。

训练过程中可监控 Loss 曲线：

• Original：原始损失值，含噪声。
• Smoothed：平滑后的趋势曲线。

导出微调结果

训练完成后，在【检查点路径】找到模型文件。支持导出为 HuggingFace 格式。

转换 GGUF

为适配 ollama 或 llama.cpp，需将模型转换为 GGUF 格式。

创建环境

python -m venv cppVenv
source cppVenv/bin/activate
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
pip install -r requirements.txt

执行转换

python convert_hf_to_gguf.py /mnt/workspace/models/Qwen3.5-2B-output --outfile /mnt/workspace/gguf/Qwen3.5-2B-output.gguf --outtype q8_0

若遇到 Tokenizer 错误，检查 tokenizer_config.json 中的 tokenizer_class 字段，确保与模型匹配（如 Qwen2Tokenizer）：

cat tokenizer_config.json | grep tokenizer_class
sed -i 's/"tokenizer_class": "TokenizersBackend"/"tokenizer_class": "Qwen2Tokenizer"/g' tokenizer_config.json

修复后重新执行转换命令即可得到 GGUF 文件。