本文介绍了大模型预训练与微调的区别，详细阐述了全参数微调、LoRA 及 QLoRA 三种微调方式的原理与资源消耗对比。通过 ModelScope SWIFT 框架展示了微调训练的具体配置与代码示例，并以数据可视化场景为例，说明了如何利用微调解决提示词工程中的复杂输出问题，最终验证了微调在提升模型特定任务表现上的有效性。文章还补充了微调最佳实践及模型部署优化建议，帮助开发者低成本构建垂直领域大模型。
我们日常所认识的「大模型」都是经过微调之后得到的。大模型本质上是一个「文本续写的模型」。在未经过任何微调或者基于人类反馈的强化学习（RLHF）之前，模型只能实现基本的文本接龙，并没有直接理解用户任何指令或意图的能力。
下面是开源大模型零一万物 Yi-34b 未经过微调之前，模型的输出：
上面的输出其实从语法结构角度来说都是对的，但是它的输出并不是「对话」形式，而是像继续编写某个文本的片段。
经过 Chat 数据微调训练之后，模型才学会如何和人类进行正常交流：
用来微调 Chat 对话模型使用的训练数据如下图所示，由符合预期的「一问一答」数据组成：
社区上无论是 GPT 还是开源大模型，基本都采用先预训练后微调的方式，从而得到一个对话或者其他用途的模型。
在预训练阶段，模型通过学习大量的数据来提取特征、理解语义和推理能力，从而对通识知识、代码知识获得一般性认识。质量较高的预训练数据可以增强模型的泛化能力，减少在后续特定任务上的训练调优时间和资源消耗。
大模型先通过预训练学习基础知识，再通过微调让模型学会基于它通过预训练已经学会的知识，学习如何去根据用户指令输出正确适当的内容。
不推荐。在需要有可信依据的场景上，比如构建智能客服机器人，通常会使用 RAG 的方式配合向量搜索等方式从文档库搜寻与用户询问问题最为相关的内容，并将匹配到的文档段落作为知识内容添加到提示词中，大模型使用提示词中的知识来回答用户的问题。
微调改善的是大模型在某种模式下的表现（如风格、准确度、幻觉问题等）。虽然微调也能一定程度上记忆新增的知识，但由于微调是改变模型的参数结构，使得模型在生成新 token 时输出与训练数据模式更相似的内容。从输出准确度上来说是不如在提示词中添加的知识内容。
在大模型预训练参数上进行参数微调训练，有三种方式：
关于全量参数微调和 LoRA 方式效果的对比，以下以 SQL 生成场景举例，柱状图从深到浅依次是未经过微调训练、LoRA 方式训练和全参数训练后模型生成的准确度：
在 SQL 数据集上，根据模型大小和微调方法预测准确率，LoRA 微调模型的表现可与全参数微调模型相当。需要注意的是，LoRA 微调的 13B 模型的表现略优于全参数微调的 7B 模型。
关于 QLoRA 训练的效果：
从上图中可以看到，在 5-shot MMLU 场景下，QLoRA 效果与常规 LoRA 效果接近，甚至能反超常规 LoRA 微调效果。
关于资源消耗：
在上表中：
以 6b 参数量的模型分别以不同方式启动训练，显存占用情况：
| 训练方式 | Full 全参数微调 | LoRA | 4bit-QLoRa |
|---|---|---|---|
| 占用 | 68450 MB | 15226 MB | 8422 MB |
从上表中可以看到：
因此，结合训练效果看，LoRA 或者 QLoRA 的高效微调的方式成本较低效果相对也较好，因此以 LoRA 的方式来对基座模型进行微调是最为合适的。
2023 年各家推出的大模型浩如烟海，如 GPT4、Llama、ChatGLM、Baichuan、RWKV、Stable-Diffusion 等。每个模型的训练方法可能都有略微区别，且业界提出了众多高效微调的方法，例如 Adapter-Tuning、Prompt-Tuning、LoRA、QLoRA 等。不同的基座模型，不同的训练方法需要不同的代码去适配，造成了较高的上手门槛。
ModelScope 魔搭是阿里推出的下一代开源的模型即服务共享平台，魔搭 ModelScope 开源社区推出了一套完整的轻量级训练和推理工具 SWIFT (Scalable lightWeight Infrastructure for Fine-Tuning)，通过框架代码、CLI 的封装，可以使得普通开发者以几行代码就能启动模型训练、推理。
SWIFT 启动训练代码，主要需要指定以下内容:
详细环境搭建，使用方法可参考官方文档。本地微调开源大模型推荐配置一张 24G 显存的显卡。如果没有的话，那么试试云厂商提供的微调接口。
还有其他可以调整的参数：如训练模式，训练几个 epoch，checkpoint 记录步长，lora_rank 等，不清楚的话可以先使用默认参数。
CLI 启动训练示例代码，最主要的部分就是设置 custom_train_dataset_path 和 custom_val_dataset_path 配置训练数据:
PYTHONPATH=../../.. \
CUDA_VISIBLE_DEVICES=0 \
python llm_sft.py \
--model_id_or_path 01ai/Yi-6B \
--model_revision master \
--sft_type lora \
--tuner_backend swift \
--template_type default-generation \
--dtype fp16 \
--output_dir output \
--train_dataset_sample -1 \
--num_train_epochs 5 \
--max_length 2048 \
--max_new_tokens 2048 \
--check_dataset_strategy warning \
--lora_rank 8 \
--lora_alpha 32 \
--lora_dropout_p 0.05 \
--lora_target_modules ALL \
--gradient_checkpointing true \
--batch_size 1 \
--weight_decay 0.01 \
--learning_rate 1e-4 \
--gradient_accumulation_steps 16 \
--max_grad_norm 0.5 \
--warmup_ratio 0.03 \
--eval_steps 100 \
--save_steps 100 \
--save_total_limit 2 \
--logging_steps 10 \
--quantization_bit 4 \
--bnb_4bit_comp_dtype fp16 \
--custom_train_dataset_path /root/train.jsonl \
--custom_val_dataset_path /root/train_eval.jsonl
以下是魔搭有标注的训练数据格式，使用 query 和 response 两部分组成：
{"query": "11111", "response": "22222"}
{"query": "aaaaa", "response": "bbbbb"}
{"query": "AAAAA", "response": "BBBBB"}
数据分析中可视化是一个非常常见的场景。在各类可视化系统中，一般先将数据源分类为一系列指标（度量）或者维度（类别）。通过指标和维度之间的组合加上适当的可视化类型，如折线图、柱图、饼图等，来生成可视化图表。
以 QuickBI 举例，如果需求为「展示每个产品类型的单价和利润情况」，那么需要从已知的维度列表中选择 product_type，度量选择「利润金额」和「单价」，最后再选择柱图或者线图进行可视化。对于不那么熟悉指标维度概念的非专业数据分析人员，或者移动端场景来说，快速选择合适的指标和维度操作不是那么容易。
而利用 ChatGPT 或同类大语言模型，可以实现理解用户数据分析的意图并结合已知的指标维度列表，抽取其中的指标维度信息，并将抽取生成的配置映射为真实的可视化展示，通过自然语言的方式大大降低了用户操作的门槛。
设计以下的提示词：
上面提示词中，绿色部分为固定说明，橙色部分为根据已知可使用的可视化字段列表动态进行替换的地方，而蓝色部分则替换为为用户实际的输入问题。
来测试一下，将以上提示词直接带入某开源大模型，得到以下输出：
{
"chartType": "CHART_LINE",
"chartFields": {
"dimensions": ["时间"],
"metrics": ["利润率"]
},
"chartTimeFilter": {
"granularity": "day",
"dayjsScript": ["subtract", 6, "months"]
},
"dimensionFilters": [
{
"field": "时间",
"values": [
"2022-01-01",
"2022-01-02",
"2022-01-03",
...
]
}
],
"metricFilters": [],
"mainAxis": "时间"
}
可以看出提取字段基本没问题，但是有一点问题。首先我们要求将时间范围输出为 dayjsScript 语句，从而通过 JS 运行并解析获取准确的近半年时间，但是大模型没有按照要求生成。其次 dimensionFilters 字段错误地列出所有近半年具体日期，且今年也不是 2022 年。
这样的效果肯定是没有办法接入到我们的应用流程中的。要优化大模型输出，我们只需要给大模型一个例子即可：
上面紫色框添加了一个示例，这样大模型可以基于已有描述和输出范例，更好地输出正确的内容。添加了示例之后的输出：
{
"chartType": "CHART_LINE",
"chartView": {
"dimensions": [
{
"name": "时间"
}
],
"metrics": [
{
"name": "利润率"
}
]
},
"mainAxis": "时间",
"chartTimeFilter": {
"granularity": "month",
"dayjsScript": ["dayjs().subtract(6, 'month').startOf('month')", "dayjs().subtract(0, 'month').endOf('month')"]
}
}
添加了示例后，可以看到大模型正确解析了近半年的时间范围对应的 Dayjs 代码：["dayjs().subtract(6, 'month').startOf('month')", "dayjs().subtract(0, 'month').endOf('month')"]，且没有输出多余的 dimensionFilters 属性。
添加示例的确可以快速大幅提升模型的输出效果，但是示例本身也是会占用 prompt 窗口长度的，越长的 prompt 调用成本越高，同时也会挤占后续多轮对话提示词的空间。
且示例的方式可能无法覆盖所有的边缘 case。在实际测试过程中发现，会出现一些异常情况：比如大模型时不时自己添加了大于 0 的指标筛选、模型根据自身理解添加了不在用户描述范围内的维度值，取了不在说明里的枚举值等等。虽然可以进一步添加示例来解决这些问题，但显然不能添加太多的示例，这样会大幅提高调用成本且降低推理速度。
微调实际上有点类似于添加大量的「示例」数据，不通过提示词的方式而是直接训练模型，从而调整其原本的参数来更好地适应我们的任务。这里所说的「示例」数据，其实就是大量有标注的数据，一个问题输入和问题输入对应的正确的输出，让模型自己学习什么样的输入应该有什么样的输出。
以下介绍两种方法：
扩写示例的方式，其实就是使用「种子任务」构造指令池的过程：
下面是生成可视化配置转 JSON 的具体提示词示例，将以下这段 prompt 输入给 GPT4，GPT4 就能按照示例的编写模式源源不断地生成更多的标注数据。
通过以上方式，生成了 600 多条训练数据，下面摘取三条进行展示：
{"query":"你是一个数据可视化助手，以下是一些数据可视化配置的说明，请根据用户需求将需求转换为对应的 json 配置。\njson 配置可以选择以下属性:\nchartType, chartFields, mainAxis, sort, topN, dimensionFilters, metricFilters, chartTimeFilter\n\n详细说明: \n- chartType: 合适的图表类型，你可以取 CHART_COLUMN, CHART_LINE, CHART_PIE, TABLE_DETAIL\n- chartFields: 图表视图配置，包含 dimensions 和 metrics 两个属性，每个属性都是字符串数组。\n- chartTimeFilter: 图表时间筛选范围。如果用户指定了时间范围（如近 14 天，近半年），请添加此属性。\n- dimensionFilters: 图表的维度筛选条件，只有当用户要求筛选维度值时才添加。\n- metricFilters: 图表的结果筛选条件，只有当用户明确要求查询的指标在指定的数值范围内才添加。\n- mainAxis: 图表的主轴，一般是维度或者时间。\n- sort 属性：图表的排序配置，只有当用户要求排序时才添加此属性。\n- topN 属性：图表的 topN 配置，只有当用户的需求是 topN 如前十，最大最小时才添加此属性。如果用户要求看最大最小值那么请使用 sort 属性。\n\n注意：\n- dimensionFilters 需包含 dimension, filter 属性，condition 属性只能取以下操作符类型：[\"in\", \"not-in\", 'like', 'not-like']。in 和 not-in 表示\"包含\"和\"不包含\", like 和 not-like 表示\"匹配\"和\"不匹配\"\n- metricFilters 需包含 metric, filter 属性，condition 只能取以下操作符类型：[\"greater\", \"less\", \"interval\"]。value 属性为一个数字，如果是区间需要用英文逗号隔开。\n- sort 属性需包含以下属性：metric, sort，其中 sort 只能为\"ASC\"或者\"DESC\"。\n- topN 需包含以下属性：metric, sort, number。其中 sort 只能为\"ASC\"或者\"DESC\"，number 为数字，metric 为目标指标名称。\n- chartTimeFilter 需包含以下属性：granularity, dayjsScript。其中 granularity 只能为\"day\", \"week\", \"month\", \"quarter\", \"year\"，dayjsScript 为一个数组，数组中的每个元素都是一个 dayjs 脚本，用于计算时间范围。\n\n已知的维度列表:\n[\"订单日期\", \"地区\", \"销售员\", \"客户群\", \"产品类别\"]\n\n已知的指标列表：\n[\"销售额\", \"退货率\", \"数量\", \"利润率\", \"客户满意度\"]\n\n已知的时间字段：\"订单日期\"\n\n若是趋势图请使用时间字段作为主轴，并且图表类型设置为线图。\n\n现在用户需求：今年第二季度各销售员在北方地区的销售额与退货率。\n\n请根据用户需求生成对应的可视化 json 配置：","response":"```json\n{\n \"chartType\": \"TABLE_DETAIL\",\n \"chartFields\": {\n \"dimensions\": [\n \"销售员\"\n ],\n \"metrics\": [\n \"销售额\",\n \"退货率\"\n ]\n },\n \"mainAxis\": \"销售员\",\n \"dimensionFilters\": [\n {\n \"dimension\": \"地区\",\n \"filter\": {\n \"condition\": \"in\",\n \"value\": [\"北方\"]\n }\n }\n ],\n \"chartTimeFilter\": {\n \"granularity\": \"quarter\",\n \"dayjsScript\": [\"dayjs().quarter(2).startOf('quarter')\", \"dayjs().quarter(2).endOf('quarter')\"]\n }\n}\n\n```"}
使用上面 GPT4 和种子任务的方式，生成了 600 多条训练数据，并在零一万物 Yi-6B 的模型上进行训练后，在一些基准 case 上评估结果如下，接近 GPT4 使用 few-shot 添加示例的方式：
| 模型 | 正确率 |
|---|---|
| Yi-6b-sft | 90% |
| GPT-4-few-shot | 96% |
| GPT-3.5-few-shot | 79% |
为了确保微调效果达到预期，建议遵循以下最佳实践：
微调完成后，模型的部署同样关键。除了考虑显存占用外，还需关注推理延迟和吞吐量。
通过上述步骤，开发者可以更高效地利用微调技术，打造符合业务需求的专属大模型应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online