基于 LLaMA-Factory 的大模型部署与微调实战

若出现异常，请检查驱动与库的兼容性。

3. 下载 LLaMA-Factory 仓库

克隆官方仓库并进入目录：

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

安装依赖包：

pip install -e '.[torch,metrics]'

验证安装：

llamafactory-cli version

二、模型准备

从魔搭社区获取预训练模型，这里以 Qwen2.5-0.5B-Instruct 为例。通过 Git 方式克隆模型文件：

git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git

三、模型部署

在 LLaMA-Factory 目录下启动 WebUI：

llamafactory-cli webui

切换到部署页面，选择 Chat 模式。在下拉列表中选择已下载的模型名称，并在路径栏填入本地模型目录。确保名称与路径一致后加载模型。

加载成功后即可进行对话测试。

四、微调实战

4.1 生成训练数据集

编写脚本生成指令微调数据，这里演示生成智能家居温控指令集。注意清理代码中的引用标记，保持逻辑清晰。

import json
import random
from faker import Faker

def generate_thermal_dataset(output_path="thermal_dataset.json"):
    """生成智能家居温度调控指令数据集"""
    fake = Faker('zh_CN')
    base_phrases = ["有点", "非常", "特别", "实在", "真的", "确实", "越来越", "稍微", "极其"]
    heat_verbs = ["热", "炎热", "火热", "酷热", "炽热", "闷热", "灼热", "滚烫", "炙热", "沸热", "炙烤", "加热", "升温", "燥热", "湿热", "高温", "暖热"]
    quantifiers = ["了", "啦", "啊", "呢", ""]
    dataset = []
    
    for _ in range(2000):
        phrase = random.choice(base_phrases)
        verb = random.choice(heat_verbs)
        quantifier = random.choice(quantifiers)
        input_text = f"我{phrase}{verb}{quantifier}"
        
        output_json = {
            "Device": "AirConditioner",
            "Status": "on"
        }
        
        dataset.append({
            "instruction": "你是一个物联网数据处理专家，需要把自然语言指令转换为 JSON 结构化数据",
            "input": input_text,
            "output": json.dumps(output_json, ensure_ascii=False),
        })
    
    with open(output_path, "w", encoding="utf-8") as f:
        json.dump(dataset, f, indent=2, ensure_ascii=False)
    print(f"数据集已生成：{output_path}")

if __name__ == "__main__":
    generate_thermal_dataset()

运行脚本生成 2000 条数据。

4.2 配置训练参数

修改 data 文件夹下的 dataset_info.json，添加自定义数据集配置。随后在 data 目录下新建 train.json 存放生成的数据。

在 WebUI 中加载新配置的数据集并预览。

为确保训练效率，建议在设备管理器中禁用集成显卡，强制使用独立显卡。

点击开始训练，观察日志输出进度。

训练完成时日志会显示结束信息。

4.3 合并导出

进入 Export 模块，配置基座模型、微调模型及保存路径，点击导出即可合并权重。

4.4 加载合并后的模型

导出完成后，可在部署流程中直接加载合并后的模型文件进行测试。