使用 LLaMA-Factory 进行大语言模型微调详解

llamafactory-cli train \
    --stage sft \
    --model_name_or_path path_to_model \
    --dataset identity \
    --template default \
    --finetuning_type lora \
    --output_dir saves/lora/sft

此配置使用了 LoRA 微调方法，学习率调度器使用 cosine 衰减。

2. 使用 unsloth

当启用 unsloth 优化时，可以进一步调整参数以获得更好的显存效率。

llamafactory-cli train \
    --stage sft \
    --model_name_or_path path_to_model \
    --dataset identity \
    --finetuning_type lora \
    --quantization_bit 4 \
    --gradient_accumulation_steps 4

3. 查看 LoRA 权重

训练完成后，可以检查生成的 LoRA 权重文件。

ll -lhS ./saves/lora/sft

4. 预测评估

使用微调后的模型进行预测评估是验证训练效果的重要环节。

llamafactory-cli chat \
    --model_name_or_path saves/lora/sft \
    --dataset identity

5. 权重合并导出

为了部署微调后的模型，需要将 LoRA 权重与基础模型合并。

llamafactory-cli export \
    --model_name_or_path path_to_base_model \
    --adapter_name_or_path saves/lora/sft \
    --export_dir saves/merged \
    --export_size 2 \
    --export_legacy_format false

六、测试

1. 原始模型

在微调前后对比测试原始模型的表现。

# 这里使用单卡
vllm serve path_to_base_model

2. 微调模型

测试微调后模型的表现变化。

# 单卡
vllm serve saves/merged

3. 多轮对话测试（Chat 模式）

除了 API 测试，还可以使用交互式对话模式进行更全面的测试。

llamafactory-cli chat --model_name_or_path path_to_export_model

七、转换导入 Ollama

1. 下载 llama.cpp

为了在更多设备上部署模型，需要转换为 GGUF 格式。

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make

2. 转换

将合并后的模型转换为 GGUF 格式。

./convert-hf-to-gguf.py path_to_merged_model --outfile model.gguf

GGUF 是 llama.cpp 使用的模型格式，具有更好的跨平台兼容性和推理效率。

3. 导入

将转换后的模型导入 Ollama 进行管理。

首先建立一个 Modelfile 文件，文件内容：

FROM /opt/fine-tune/LLaMA-Factory/saves/lora/xxx.gguf
TEMPLATE "{{ .System }} {{ .Prompt }}"
PARAMETER system "You are a helpful assistant."

导入模型：

ollama create sunmao -f Modelfile

成功导入后，模型就可以通过 Ollama 进行管理和使用了。