使用 LLaMA-Factory 进行大语言模型微调详解

由于大语言模型文件体积很大，必须使用 Git LFS（Large File Storage）来管理。Qwen2.5-7B-Instruct 是一个 70 亿参数的中英双语指令调优模型，适合进行进一步的领域适配微调。如果机器的 GPU 配置不够强，可以下载参数低一些的版本。

四、数据集

1. 内置数据集

LLaMA-Factory 提供了内置的数据集支持，简化了数据准备过程：

1. 准备数据集文件，json 格式，存放到 data 目录下。
2. 注册数据集，将 json 文件注册到 data 目录下的 dataset_info.json 文件。
3. LLaMA-Factory 内置了一些数据集，本次就使用内置的 identity 数据集，用于修改模型的自我意识。
4. 把 identity.json 里面占位符替换成自己的内容。

sed -i 's/{{name}}/XX 智能助手/g; s/{{author}}/XX 科技/g' data/identity.json

Identity 数据集主要用于修改模型的身份认知，通过替换占位符可以自定义助手的名称和所属机构。使用 sed 命令进行批量替换是一种高效的方式。

2. 数据集注册

数据集注册是将自定义数据集纳入 LLaMA-Factory 管理的重要步骤：

1. Identity 是内置数据集，已经注册好了，可以跳过这步。
2. 将数据集移动到 data 目录下。
3. 修改 dataset_info.json 注册数据集，dataset_info.json 就是所有数据集的一个集合。

对于非内置数据集，需要在 dataset_info.json 文件中添加数据集的元信息，包括文件路径、格式说明等，这样训练时才能正确加载和使用数据集。

五、微调

1. 基本

基本微调配置提供了最基础的训练参数设置：

llamafactory-cli train \
    --stage sft \
    --model_name_or_path path_to_base_model \
    --dataset identity \
    --template default \
    --finetuning_type lora \
    --output_dir saves/lora/sft \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 100 \
    --learning_rate 5e-5 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --fp16

这个配置使用了 LoRA（Low-Rank Adaptation）微调方法，这是一种参数高效的微调技术，只训练少量的额外参数而不是整个模型。学习率调度器使用 cosine 衰减，训练过程中会记录损失曲线以便监控训练效果。

2. 使用 Unsloth

当启用 unsloth 优化时，可以进一步调整参数以获得更好的显存效率：

llamafactory-cli train \
    --stage sft \
    --model_name_or_path path_to_base_model \
    --dataset identity \
    --finetuning_type lora \
    --use_unsloth true \
    --quantization_bit 4 \
    --output_dir saves/lora/sft_unsloth

这个配置增加了 4 位量化、梯度累积等优化技术，显著降低了显存需求。lora_rank 和 lora_alpha 参数控制了 LoRA 适配器的容量和缩放因子，影响微调的效果和稳定性。

3. 查看 LoRA 权重

训练完成后，可以检查生成的 LoRA 权重文件：

ls -lhS ./saves/lora/sft

这个命令会列出 LoRA 权重文件的详细信息，包括文件大小和修改时间。LoRA 权重通常比完整模型小很多，这使得存储和分发变得更加便捷。

4. 预测评估

使用微调后的模型进行预测评估是验证训练效果的重要环节：

llamafactory-cli chat \
    --model_name_or_path path_to_base_model \
    --adapter_name_or_path saves/lora/sft \
    --template default

预测评估会在测试集上运行模型并生成回复，通过观察生成结果可以直观了解模型微调后的表现变化。

5. 权重合并导出

为了部署微调后的模型，需要将 LoRA 权重与基础模型合并：

llamafactory-cli export \
    --model_name_or_path path_to_base_model \
    --adapter_name_or_path saves/lora/sft \
    --template default \
    --export_dir saves/export \
    --export_size 2 \
    --export_legacy_format false

权重合并会创建一个独立的模型文件，包含了基础模型和微调适配器的所有参数，这样可以脱离 LLaMA-Factory 环境直接使用标准推理引擎加载模型。

六、测试

1. 原始模型

在微调前后对比测试原始模型的表现：

vllm serve path_to_base_model

使用 vLLM 推理引擎部署模型并提供 OpenAI 兼容的 API 接口，这样可以方便地进行测试和集成。原始模型的回答反映了其默认的身份认知。

2. 微调模型

测试微调后模型的表现变化：

vllm serve path_to_export_model

通过与原始模型的对比，可以清晰看到微调对模型身份认知的改变效果，验证微调是否达到了预期目标。

3. 多轮对话测试（Chat 模式）

除了 API 测试，还可以使用交互式对话模式进行更全面的测试：

llamafactory-cli chat --model_name_or_path path_to_export_model

这种交互式测试方式可以模拟真实的使用场景，检查模型在多轮对话中的表现一致性、上下文理解能力和回复质量。

七、转换导入 Ollama

1. 下载 llama.cpp

为了在更多设备上部署模型，需要转换为 GGUF 格式：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make

Llama.cpp 是一个高效的 C++ 推理框架，支持在各种硬件上运行大语言模型，特别适合资源受限的环境。

2. 转换

将合并后的模型转换为 GGUF 格式：

python convert_hf_to_gguf.py path_to_export_model --outfile model.gguf

GGUF 是 llama.cpp 使用的模型格式，具有更好的跨平台兼容性和推理效率。f16 精度在保持模型质量的同时减少了存储空间需求。

3. 导入

将转换后的模型导入 Ollama 进行管理：

首先建立一个 Modelfile 文件，文件内容：

FROM /opt/fine-tune/LLaMA-Factory/saves/lora/xxx.gguf
TEMPLATE "{{if .System}}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{end}}{{if .Prompt}}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{end}}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"
PARAMETER stop <|endoftext|>
PARAMETER stop <|eot_id|>

Modelfile 定义了模型的加载配置和对话模板，确保模型按照正确的格式处理输入和生成输出。Qwen 模型使用特殊的标记格式来区分不同角色。

导入模型：

ollama create sunmao -f Modelfile

成功导入后，模型就可以通过 Ollama 进行管理和使用了。Ollama 提供了便捷的模型管理、版本控制和 API 服务，大大简化了模型的部署和使用流程。