基于 ModelScope 与 LLaMA-Factory 的大模型微调实战指南

下载完成后，模型文件将位于 Yi-1.5-6B-Chat 目录下。

4. 配置文件详解

微调的核心在于配置文件（YAML）。我们需要修改 LLaMA-Factory 示例中的配置文件以适应当前任务。

4.1 复制模板文件

在左侧文件列表中，导航至 examples/train_qlora 目录，找到 llama3_lora_sft_awq.yaml 文件。将其复制并重命名为 yi_lora_sft_bitsandbytes.yaml。

4.2 关键参数配置

打开新文件，重点修改以下参数：

1. model_name_or_path：指定基座模型路径。例如：../Yi-1.5-6B-Chat
2. dataset：指定微调数据集名称。默认使用 identity（自我认知数据集）。
3. template：指定对话模板。Yi 模型通常使用 chatml 模板。
4. output_dir：指定训练结果保存路径。
5. per_device_train_batch_size：单设备训练批次大小，显存紧张时可设为 1。
6. gradient_accumulation_steps：梯度累积步数，用于模拟更大 Batch Size。
7. learning_rate：学习率，LoRA 微调通常在 1e-4 到 5e-5 之间。
8. num_train_epochs：训练轮数，简单任务 1-3 轮即可。

以下是修改后的配置示例片段：

model_name_or_path: ../Yi-1.5-6B-Chat
template: chatml
dataset: identity
device_map: auto

4.3 自定义数据集

默认的 identity.json 数据集用于让模型回答'你是谁'。若要微调特定内容，可修改该 JSON 文件。例如，将 {{name}} 替换为你的名字，微调后模型将自称该名字。

5. 开始微调训练

确认配置文件无误后，在 Terminal 中运行训练命令。命令需在 LLaMA-Factory 根目录下执行。

llamafactory-cli train examples/train_qlora/yi_lora_sft_bitsandbytes.yaml

5.1 监控训练日志

启动后，终端将显示损失函数（Loss）下降曲线。典型的训练过程包括初始化、前向传播、反向传播和权重更新。若出现 OOM（Out Of Memory）错误，说明显存不足，需减小 per_device_train_batch_size 或启用更激进的量化设置。

训练完成后，生成的适配器权重（Adapter Weights）将保存在 output_dir 指定的文件夹中。

6. 推理测试与效果验证

6.1 加载微调后模型

为了验证微调效果，需要创建推理配置文件。参考 examples/inference 下的模板，新建 yi_lora_sft.yaml。

配置中需指定 adapter_name_or_path 指向刚才训练输出的目录，以便加载 LoRA 权重。

model_name_or_path: ../Yi-1.5-6B-Chat
template: chatml
adapter_name_or_path: output/checkpoint-xxx

6.2 执行聊天测试

在 Terminal 中运行以下命令启动交互模式：

llamafactory-cli chat examples/inference/yi_lora_sft.yaml

输入问题如'你好，你是谁？'，观察模型回答是否已变为预设的身份信息。同时测试通用问题，确保模型未发生灾难性遗忘，仍保持基本的对话能力。

6.3 对比原始模型

为直观对比，可修改配置文件移除 adapter_name_or_path，直接加载原始基座模型进行提问。对比两者的回答差异，即可评估微调的有效性。

7. 常见问题与优化建议

7.1 显存不足处理

如果训练过程中报错显存溢出，请尝试以下方案：

1. 降低 per_device_train_batch_size 至 1 或 2。
2. 增加 gradient_accumulation_steps 以保持有效 Batch Size。
3. 检查是否开启了正确的量化选项（如 bitsandbytes）。

7.2 训练速度过慢

1. 确保使用了 CUDA 加速，而非 CPU。
2. 检查数据集格式是否正确，避免不必要的预处理开销。
3. 考虑使用 Flash Attention 技术（需在配置中开启）以提升计算效率。

7.3 模型效果不佳

1. 调整学习率，过高可能导致不收敛，过低导致训练缓慢。
2. 增加训练轮数（epochs），但需注意过拟合风险。
3. 检查数据集质量，确保指令清晰、答案准确。

8. 总结

本文详细演示了利用云端 GPU 资源和 LLaMA-Factory 框架对 Yi-1.5-6B 模型进行微调的全过程。通过本教程，读者可以掌握从环境搭建、配置修改到训练推理的完整工作流。微调大模型不仅是技术实践，更是探索 AI 应用落地的关键一步。未来，您可以尝试使用更多样化的数据集，探索不同架构模型的微调特性，构建专属的智能助手。

注：本文仅涉及基础微调流程，实际生产环境部署还需考虑模型压缩、服务化封装及安全性校验等复杂环节。