基于微调技术定制专属大模型

我能用微调定制什么？

• 设置风格、语气、格式等定性方面：
  • 场景举例：创建一个语音对话机器人，不通过提示词的方式，让模型输出的内容尽可能精简（如 50 字以内）。
  • 大模型智能 Code Review，通过打标过的优质数据使得大模型 Review 输出更加有效和高质量的结果。
• 提高生成预期输出的可靠性：
  • 将天气查询的需求转换为 JSON 请求参数，通过大量示例作为微调训练数据提升输出 JSON 的信息抽取的效果，并降低输出非法 JSON 内容的概率。
  • 要求大模型只输出代码块，即使通过提示词告诉模型只能一次性输出代码块且不添加任何解释，但大模型偶尔也会输出解释和多个代码块。此时用一些少量微调数据可以改善这些问题。
• 提升效果：
  • 使用大模型生成 Pandas 数据分析和可视化代码。大模型本身理解 Pandas 代码的编写，但是编写准确率在一些场景下可能不是特别高，通过一系列经过打标正确的训练数据提升大模型理解用户需求编写 Pandas 代码的效果和正确率。
  • 比较复杂的，有大量任务说明的提示词。比如将用户的一段描述转换为一个甚至多个接口请求参数，需要在提示词里添加大量说明文档和样例。
• 减少 Token 占用：
  • 就像上面的例子，在提示词里添加大量文档说明，使用按 Token 计费的模型如 GPT4 会显得很贵。同时较少的 Token 能获得更快的推理速度。

可以使用微调来让大模型新增知识吗？

不推荐。在需要有可信依据的场景上，比如构建智能客服机器人，通常会使用 RAG 的方式配合向量搜索等方式从文档库搜寻与用户询问问题最为相关的内容，并将匹配到的文档段落作为知识内容添加到提示词中，大模型使用提示词中的知识来回答用户的问题。

微调改善的是大模型在某种模式下的表现（如风格、准确度、幻觉问题等）。虽然微调也能一定程度上记忆新增的知识，但由于微调是改变模型的参数结构，使得模型在生成新 token 时输出与训练数据模式更相似的内容。从输出准确度上来说是不如在提示词中添加的知识内容。

微调方式

在大模型预训练参数上进行参数微调训练，有三种方式：

• 全参数微调，即完全监督微调，在所有参数层上根据标注数据去调整原始预训练模型中的 QKV 参数层。
• LoRA，即 LLM 的低秩适配（Low-Rank Adaptation），通过两个较小的矩阵来拟合调整后的参数层，这个过程可以理解为 X + Z = Y，其中 X 为原始参数，Y 为训练之后的参数，训练过程中就是寻找可以将 X 拟合为 Y 的 Z 矩阵。Z 矩阵由两个较小的 Wa 矩阵和 Wb 矩阵组成。

• QLoRA，与 LoRA 方式类似，也是训练两个拟合参数层来达到对原始模型的调整。区别在于为了节省训练硬件资源，QLoRA 会先将原始模型参数量化至 4-bit 并冻结，然后添加一小组可学习的低秩适配器权重（Low-rank Adapter weights），这些权重通过量化权重的反向传播梯度进行调优，在量化之后的参数上进行 LoRA 训练，这将大幅下降显存的占用（33b 的模型以 FP16 全量加载需消耗 80GB 显存，量化至 4 bit 之后模型加载仅需要 20 GB 左右显存的占用）。
• 除了量化并冻结原始参数，QLoRA 还支持分页优化器：使用 NVIDIA 统一内存特性，将部分显存溢出的部分 offload 到内存中实现分页，来进一步避免 OOM 的问题。（即下图紫色箭头部分）

关于全量参数微调和 LoRA 方式效果的对比，以下以 SQL 生成场景举例，柱状图从深到浅依次是未经过微调训练、LoRA 方式训练和全参数训练后模型生成的准确度：

在 SQL 数据集上，根据模型大小和微调方法预测准确率，LoRA 微调模型的表现可与全参数微调模型相当。需要注意的是，LoRA 微调的 13B 模型的表现略优于全参数微调的 7B 模型。

关于 QLoRA 训练的效果：

从上图中可以看到，在 5-shot MMLU 场景下，QLoRA 效果与常规 LoRA 效果接近，甚至能反超常规 LoRA 微调效果。

关于资源消耗：

在上表中：

• LLaMA-13B+LoRA（2M）表示使用 LLaMA-13B 作为基本模型和 LoRA 训练方法在 200 万指令数据上训练的模型。
• 可以看到全量参数的训练时间约为 LoRA 方式的 2~3 倍。
• 从效果上来看，LoRA 与全参数微调效果差距在 1 ~ 9% 左右。但是在特定场景上（math 数据集）仅相差 1% 左右，因此在垂直领域训练上 LoRA 能保持较好的效果，同时显著降低训练时长。

以 6b 参数量的模型分别以不同方式启动训练，显存占用情况：

从上表中可以看到：

• 全参数训练显存占用约为 LoRA 的 4.5 倍
• 使用 QLoRA 方式显存占用相对于 LoRA 又可以省一倍。
• 6B 参数的微调，一张 24G 显存的显卡运行 LoRA 微调绰绰有余。

因此，结合训练效果看，LoRA 或者 QLoRA 的高效微调的方式成本较低效果相对也较好，因此以 LoRA 的方式来对基座模型进行微调是最为合适的。

微调训练框架的选择

2023 年各家推出的大模型浩如烟海，如 GPT4、Llama、ChatGLM、Baichuan、RWKV、Stable-Diffusion 等。每个模型的训练方法可能都有略微区别，且业界提出了众多高效微调的方法，例如 Adapter-Tuning、Prompt-Tuning、LoRA、QLoRA 等。不同的基座模型，不同的训练方法需要不同的代码去适配，造成了较高的上手门槛。

ModelScope 魔搭是阿里推出的下一代开源的模型即服务共享平台，魔搭 ModelScope 开源社区推出了一套完整的轻量级训练和推理工具 SWIFT (Scalable lightWeight Infrastructure for Fine-Tuning)，通过框架代码、CLI 的封装，可以使得普通开发者以几行代码就能启动模型训练、推理。

SWIFT 启动训练代码，主要需要指定以下内容:

• 基座模型 id，用什么基座模型，使用多大参数的模型进行训练
• 训练数据集
• 训练评估数据集
• 输入，输出长度

详细环境搭建，使用方法可参考官方文档。本地微调开源大模型推荐配置一张 24G 显存的显卡。如果没有的话，那么试试云厂商提供的微调接口。

还有其他可以调整的参数：如训练模式，训练几个 epoch，checkpoint 记录步长，lora_rank 等，不清楚的话可以先使用默认参数。

CLI 启动训练示例代码，最主要的部分就是设置 custom_train_dataset_path 和 custom_val_dataset_path 配置训练数据:

PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0 \
python llm_sft.py \
    --model_id_or_path 01ai/Yi-6B \
    --model_revision master \
    --sft_type lora \
    --tuner_backend swift \
    --template_type default-generation \
    --dtype fp16 \
    --output_dir output \
    --train_dataset_sample -1 \
    --num_train_epochs 5 \
    --max_length 2048 \
    --max_new_tokens 2048 \
    --check_dataset_strategy warning \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules ALL \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.01 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps 16 \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.03 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 2 \
    --logging_steps 10 \
    --quantization_bit 4 \
    --bnb_4bit_comp_dtype fp16 \
    --custom_train_dataset_path /root/train.jsonl \
    --custom_val_dataset_path /root/train_eval.jsonl

以下是魔搭有标注的训练数据格式，使用 query 和 response 两部分组成：

{"query": "11111", "response": "22222"}
{"query": "aaaaa", "response": "bbbbb"}
{"query": "AAAAA", "response": "BBBBB"}

数据可视化场景的微调

数据分析中可视化是一个非常常见的场景。在各类可视化系统中，一般先将数据源分类为一系列指标（度量）或者维度（类别）。通过指标和维度之间的组合加上适当的可视化类型，如折线图、柱图、饼图等，来生成可视化图表。

以 QuickBI 举例，如果需求为「展示每个产品类型的单价和利润情况」，那么需要从已知的维度列表中选择 product_type，度量选择「利润金额」和「单价」，最后再选择柱图或者线图进行可视化。对于不那么熟悉指标维度概念的非专业数据分析人员，或者移动端场景来说，快速选择合适的指标和维度操作不是那么容易。

而利用 ChatGPT 或同类大语言模型，可以实现理解用户数据分析的意图并结合已知的指标维度列表，抽取其中的指标维度信息，并将抽取生成的配置映射为真实的可视化展示，通过自然语言的方式大大降低了用户操作的门槛。

设计以下的提示词：

上面提示词中，绿色部分为固定说明，橙色部分为根据已知可使用的可视化字段列表动态进行替换的地方，而蓝色部分则替换为为用户实际的输入问题。

来测试一下，将以上提示词直接带入某开源大模型，得到以下输出：

{
  "chartType": "CHART_LINE",
  "chartFields": {
    "dimensions": ["时间"],
    "metrics": ["利润率"]
  },
  "chartTimeFilter": {
    "granularity": "day",
    "dayjsScript": ["subtract", 6, "months"]
  },
  "dimensionFilters": [
    {
      "field": "时间",
      "values": [
        "2022-01-01",
        "2022-01-02",
        "2022-01-03",
        ...
      ]
    }
  ],
  "metricFilters": [],
  "mainAxis": "时间"
}

可以看出提取字段基本没问题，但是有一点问题。首先我们要求将时间范围输出为 dayjsScript 语句，从而通过 JS 运行并解析获取准确的近半年时间，但是大模型没有按照要求生成。其次 dimensionFilters 字段错误地列出所有近半年具体日期，且今年也不是 2022 年。

这样的效果肯定是没有办法接入到我们的应用流程中的。要优化大模型输出，我们只需要给大模型一个例子即可：

上面紫色框添加了一个示例，这样大模型可以基于已有描述和输出范例，更好地输出正确的内容。添加了示例之后的输出：

{
  "chartType": "CHART_LINE",
  "chartView": {
    "dimensions": [
      {
        "name": "时间"
      }
    ],
    "metrics": [
      {
        "name": "利润率"
      }
    ]
  },
  "mainAxis": "时间",
  "chartTimeFilter": {
    "granularity": "month",
    "dayjsScript": ["dayjs().subtract(6, 'month').startOf('month')", "dayjs().subtract(0, 'month').endOf('month')"]
  }
}

添加了示例后，可以看到大模型正确解析了近半年的时间范围对应的 Dayjs 代码：["dayjs().subtract(6, 'month').startOf('month')", "dayjs().subtract(0, 'month').endOf('month')"]，且没有输出多余的 dimensionFilters 属性。

添加示例的限制

添加示例的确可以快速大幅提升模型的输出效果，但是示例本身也是会占用 prompt 窗口长度的，越长的 prompt 调用成本越高，同时也会挤占后续多轮对话提示词的空间。

且示例的方式可能无法覆盖所有的边缘 case。在实际测试过程中发现，会出现一些异常情况：比如大模型时不时自己添加了大于 0 的指标筛选、模型根据自身理解添加了不在用户描述范围内的维度值，取了不在说明里的枚举值等等。虽然可以进一步添加示例来解决这些问题，但显然不能添加太多的示例，这样会大幅提高调用成本且降低推理速度。

使用微调解决

微调实际上有点类似于添加大量的「示例」数据，不通过提示词的方式而是直接训练模型，从而调整其原本的参数来更好地适应我们的任务。这里所说的「示例」数据，其实就是大量有标注的数据，一个问题输入和问题输入对应的正确的输出，让模型自己学习什么样的输入应该有什么样的输出。

训练数据怎么来？

以下介绍两种方法：

• 从已有系统里尝试捞取含有图表描述和具体图表配置的图表，最后清洗整理得到训练数据。
• 给 GPT4 或者其他效果较优的模型不同场景和 case 下的正确范例，让大模型继续扩写示例。

扩写示例的方式，其实就是使用「种子任务」构造指令池的过程：

下面是生成可视化配置转 JSON 的具体提示词示例，将以下这段 prompt 输入给 GPT4，GPT4 就能按照示例的编写模式源源不断地生成更多的标注数据。

通过以上方式，生成了 600 多条训练数据，下面摘取三条进行展示：

{"query":"你是一个数据可视化助手，以下是一些数据可视化配置的说明，请根据用户需求将需求转换为对应的 json 配置。\njson 配置可以选择以下属性:\nchartType, chartFields, mainAxis, sort, topN, dimensionFilters, metricFilters, chartTimeFilter\n\n详细说明: \n- chartType: 合适的图表类型，你可以取 CHART_COLUMN, CHART_LINE, CHART_PIE, TABLE_DETAIL\n- chartFields: 图表视图配置，包含 dimensions 和 metrics 两个属性，每个属性都是字符串数组。\n- chartTimeFilter: 图表时间筛选范围。如果用户指定了时间范围（如近 14 天，近半年），请添加此属性。\n- dimensionFilters: 图表的维度筛选条件，只有当用户要求筛选维度值时才添加。\n- metricFilters: 图表的结果筛选条件，只有当用户明确要求查询的指标在指定的数值范围内才添加。\n- mainAxis: 图表的主轴，一般是维度或者时间。\n- sort 属性：图表的排序配置，只有当用户要求排序时才添加此属性。\n- topN 属性：图表的 topN 配置，只有当用户的需求是 topN 如前十，最大最小时才添加此属性。如果用户要求看最大最小值那么请使用 sort 属性。\n\n注意：\n- dimensionFilters 需包含 dimension, filter 属性，condition 属性只能取以下操作符类型：[\"in\", \"not-in\", 'like', 'not-like']。in 和 not-in 表示\"包含\"和\"不包含\", like 和 not-like 表示\"匹配\"和\"不匹配\"\n- metricFilters 需包含 metric, filter 属性，condition 只能取以下操作符类型：[\"greater\", \"less\", \"interval\"]。value 属性为一个数字，如果是区间需要用英文逗号隔开。\n- sort 属性需包含以下属性：metric, sort，其中 sort 只能为\"ASC\"或者\"DESC\"。\n- topN 需包含以下属性：metric, sort, number。其中 sort 只能为\"ASC\"或者\"DESC\"，number 为数字，metric 为目标指标名称。\n- chartTimeFilter 需包含以下属性：granularity, dayjsScript。其中 granularity 只能为\"day\", \"week\", \"month\", \"quarter\", \"year\"，dayjsScript 为一个数组，数组中的每个元素都是一个 dayjs 脚本，用于计算时间范围。\n\n已知的维度列表:\n[\"订单日期\", \"地区\", \"销售员\", \"客户群\", \"产品类别\"]\n\n已知的指标列表：\n[\"销售额\", \"退货率\", \"数量\", \"利润率\", \"客户满意度\"]\n\n已知的时间字段：\"订单日期\"\n\n若是趋势图请使用时间字段作为主轴，并且图表类型设置为线图。\n\n现在用户需求：今年第二季度各销售员在北方地区的销售额与退货率。\n\n请根据用户需求生成对应的可视化 json 配置：","response":"```json\n{\n  \"chartType\": \"TABLE_DETAIL\",\n  \"chartFields\": {\n    \"dimensions\": [\n      \"销售员\"\n    ],\n    \"metrics\": [\n      \"销售额\",\n      \"退货率\"\n    ]\n  },\n  \"mainAxis\": \"销售员\",\n  \"dimensionFilters\": [\n    {\n      \"dimension\": \"地区\",\n      \"filter\": {\n        \"condition\": \"in\",\n        \"value\": [\"北方\"]\n      }\n    }\n  ],\n  \"chartTimeFilter\": {\n    \"granularity\": \"quarter\",\n    \"dayjsScript\": [\"dayjs().quarter(2).startOf('quarter')\", \"dayjs().quarter(2).endOf('quarter')\"]\n  }\n}\n\n```"}

实际效果

使用上面 GPT4 和种子任务的方式，生成了 600 多条训练数据，并在零一万物 Yi-6B 的模型上进行训练后，在一些基准 case 上评估结果如下，接近 GPT4 使用 few-shot 添加示例的方式：

总结

• 只经过预训练的大模型只是一个单纯的「文本续写」模型，通过微调训练可以让大模型更好地执行与训练数据模式类似的任务。
• 使用「示例」的方式在提示词中添加有标注数据也能改善模型效果，但是会存在 token 占用多，响应速度变慢的问题。
• 使用 LoRA 高效微调的方式可以有效降低模型训练使用硬件资源。
• 通过「种子任务」的方式让 GPT4 或其他模型编写和提示词类似的数据可以更加高效地生成训练数据。

微调最佳实践

为了确保微调效果达到预期，建议遵循以下最佳实践：

1. 数据质量优先：训练数据的准确性比数量更重要。确保每一条问答对都经过人工审核，避免噪声数据污染模型。
2. 多样性覆盖：训练数据应涵盖多种场景和表达方式，防止模型过拟合于特定的句式。
3. 超参数调优：学习率、Batch Size、Epoch 数等参数需要根据具体的数据集规模进行调整。通常建议使用较小的学习率配合较大的 Batch Size。
4. 持续评估：在训练过程中定期评估验证集上的表现，防止过拟合。如果验证集 Loss 上升而训练集 Loss 下降，应考虑早停策略。

模型部署与推理优化

微调完成后，模型的部署同样关键。除了考虑显存占用外，还需关注推理延迟和吞吐量。

• 量化部署：对于生产环境，推荐使用 INT8 或 INT4 量化模型，这可以在几乎不损失精度的情况下大幅降低显存需求和推理延迟。
• 推理引擎：选择高效的推理引擎如 vLLM 或 TGI，它们支持连续批处理（Continuous Batching）和 PagedAttention，能显著提升并发处理能力。
• 监控与日志：建立完善的监控体系，跟踪 Token 生成速度、首字延迟及错误率，以便及时发现模型异常行为。

通过上述步骤，开发者可以更高效地利用微调技术，打造符合业务需求的专属大模型应用。