指令调优（Instruction Tuning）是提升大型语言模型遵循指令能力的核心技术。综述了 18 种主流指令调优方法，涵盖纯文本 LLM 指令微调及多模态指令微调两大方向。包括 InstructGPT、Alpaca、Vicuna、LLaVA 等代表性模型及其核心论文。这些方法通过人类反馈、合成数据、多任务微调等手段，显著增强了模型在翻译、问答、图像编辑等任务上的表现。文章总结了从数据规模扩张到质量优先的技术趋势，为开发者选择合适的调优方案提供参考。
指令调优（Instruction Tuning, IT），一种针对大型语言模型（LLMs）的训练方法，是提高大型语言模型能力和可控性的关键技术。该方法的核心目标是使 LLM 具备遵循自然语言指令并完成现实世界任务的能力。它弥补了 LLM 的下一个单词预测目标与用户让 LLM 遵循人类指令的目标之间的差距，约束了模型的输出，使其符合预期的响应特征或领域知识。
随着计算机技术的发展，指令调优在一些需要执行特定任务的场景上，如机器翻译、问答系统等，都有着广泛的应用前景。以下整理了 18 种指令调优方法，包含指令微调 LLMs、多模态指令微调两个方向。
通过人类反馈训练语言模型遵循指令
简述： 本文提出一种通过人类反馈微调语言模型的方法，使其与用户意图对齐。作者收集了标注者演示所需行为的数据集和模型输出排名的数据集，微调 GPT-3 得到 InstructGPT 模型。在人机评估中，1.3B 参数的 InstructGPT 模型比 175B GPT-3 更受青睐，同时减少了输出不真实和有害的情况，性能下降不大。
跨语言泛化通过多任务微调实现
简述： 本文将多任务微调应用于预训练的多语言 BLOOM 和 mT5 模型族，生成了名为 BLOOMZ 和 mT0 的微调变体。研究发现，在英语任务上微调大型多语言语言模型并使用英文提示可以使模型泛化到非英语语言的任务中。在多语言任务上使用英文提示进行微调进一步提高了性能，实现了各种最先进的零样本结果。
缩放指令微调语言模型
简述： 本文研究了在一系列指令性数据集中微调语言模型的效果，并发现这可以提高模型性能和对未见过的任务的泛化能力。作者特别关注三个方面：扩展任务数量、扩大模型规模、在思维链数据上进行微调。研究发现，在这些方面进行指令微调可以显著提高各种模型类别、提示设置和评估基准的性能。例如，Flan-PaLM 540B 在 1.8K 个任务上进行了指令微调，比 PaLM 540B 高出很多（平均 +9.4%）。作者还公开发布了 Flan-T5 检查点，它在少样本性能方面表现强劲，甚至与更大的模型相比也毫不逊色。
一种强大、可复制的指令跟随模型
简述： 指令跟随模型越来越强大，但仍然存在许多缺陷。为了解决这些问题，研究人员发布了一种名为 Alpaca 的指令跟随语言模型，它是基于 Meta 的 LLaMA 7B 模型微调而来的。该模型在 52K 个以 text-davinci-003 的自我指导风格生成的指令跟随演示上进行了训练。
一个开源聊天机器人，以 90% 的 ChatGPT 质量给 GPT-4 留下深刻印象
简述： LMSYS 介绍了开源聊天机器人 Vicuna-13B，它是通过在 ShareGPT 上收集的用户共享对话中微调 LLaMA 进行训练的。初步评估使用 GPT-4 作为评判标准显示，Vicuna-13B 实现了超过 90% 的 OpenAI ChatGPT 和 Google Bard 的质量，并在超过 90% 的情况下优于其他模型，如 LLaMA 和斯坦福 Alpaca。
使用 GPT-4 进行指令调优
简述： 本文介绍了使用 GPT-4 生成指令跟随数据来微调大型语言模型（LLMs）的首次尝试。早期的实验表明，使用 GPT-4 生成的 52K 英文和中文指令跟随数据比先前最先进的模型生成的指令跟随数据在全新任务上表现出更出色的零样本性能。作者还收集了来自 GPT-4 的反馈和比较数据，以实现全面的评估和奖励模型训练。
赋予大型语言模型遵循复杂指令的能力
简述： 本文提出了一种使用大型语言模型（LLM）生成指令数据的方法，以代替人工创建。通过逐步将初始指令重写为更复杂的指令，并将所有生成的指令数据混合到一起微调 LLaMA，得到的结果被称为 WizardLM。在人类评估和 GPT-4 自动评估中，WizardLM 表现出比 ChatGPT 更好的能力。
对齐时，少即是多
简述： 本文介绍了一种使用大型语言模型（LLM）进行训练的方法，分为无监督预训练和大规模指令微调两个阶段。作者通过训练 LIMA 来证明，在有监督损失微调中，只需要少量示例即可让 LLM 学习到高质量的输出。LIMA 表现出非常出色的性能，能够遵循特定的响应格式，并泛化到未见过的任务上。
通过泛化的视角扩展语言模型指令元学习
简述： 论文提出了一种使用大型预训练语言模型进行指令元学习的方法，通过扩展模型和基准规模来提高其在未见过的任务上的泛化能力。作者创建了一个包含 2000 个 NLP 任务的大型基准测试集，并展示了在不同指令微调决策下的应用效果。通过这个框架，作者训练了 OPT-IML 30B 和 175B，这两个模型是 OPT 的指令微调版本，并在四个不同的评估基准测试集上表现出了很好的性能。
介绍世界上第一个真正开放的指令调优 LLM
简述： Dolly 2.0 是第一个开源的、指令遵循的、120 亿参数的语言模型，完全基于 EleutherAI pythia 模型系列进行微调，并专门使用了一个新的、高质量的人工生成指令遵循数据集，该数据集是在 Databricks 员工中进行众包收集的。
探索开放资源上的指令调优状态
简述： 本文研究了在一系列开放指令遵循数据集上进行指令调优的语言模型的最新进展，提供了一组从 67 亿到 650 亿参数规模的指令调优模型，并使用自动、基于模型和基于人类的指标对其进行了评估。实验表明，不同的指令调优数据集可以发现或增强特定的技能，但没有单个数据集（或组合）在所有评估中提供最佳性能。作者还介绍了 Tülu，这是在高质量的开放资源组合上微调的最佳表现的指令调优模型套件。
通过扩展高质量的指导性对话来增强聊天语言模型
简述： 作者提供了一个多样化、信息量大的指导性对话数据集 UltraChat，并基于该数据集微调了一个强大的对话模型 UltraLLaMA。评估结果表明，UltraLLaMA 优于其他开源模型。
学习遵循图像编辑指令
简述： 本文提出了一种根据人类指令快速编辑图像的方法。作者结合了两个大型预训练模型的知识来生成大量的图像编辑示例数据集，并使用这个数据集训练了一个新的条件扩散模型 InstructPix2Pix。该模型可以在几秒钟内快速编辑图像，并在推理时推广到真实图像和用户编写的指令。
可视化指令调优
简述： 本文介绍了一种使用语言模型生成多模态语言 - 图像指令遵循数据的可视化指令调优方法，以改善新任务的零样本能力。作者首次尝试使用只有语言的 GPT-4 来生成多模态语言 - 图像指令遵循数据，并通过这种生成的数据进行指令调优，引入了 LLaVA。LLaVA 是一个端到端训练的大型多模态模型，将视觉编码器和 LLM 连接起来，用于通用的视觉和语言理解。
一种用于视频理解的指令调优的视听语言模型
简述： 论文提出了一种多模态框架 Video-LLaMA，可让大型语言模型理解视频中的视觉和听觉内容。该模型从冻结的预训练视觉和音频编码器以及冻结的 LLMs 开始进行跨模态训练，解决了捕捉视觉场景中的时间变化和整合视听信号两个挑战。作者还提出了一个 Video Q-former 来将预训练的图像编码器组装到视频编码器中，并引入了一个视频到文本生成任务来学习视频 - 语言对应关系。
通过指令调优实现通用视觉语言模型
简述： 本文介绍了一种通用视觉语言模型 InstructBLIP，通过大规模的预训练和指令调优实现了广泛的能力。作者使用 26 个公开可用的数据集进行训练，引入了一种指令感知的查询转换器来提取相关信息特征。在 13 个持有数据集中进行训练后，InstructBLIP 在所有测试集上都达到了最先进的零样本性能，显著优于其他模型。在单个下游任务上进行微调时，InstructBLIP 也取得了很好的性能。
一种具有上下文指令调优的多模态模型
简述： 本文介绍了多模态模型 Otter，它基于 DeepMind 的 Flamingo 模型并通过上下文指令调优进行了训练。作者使用类似的方式构建了 MultI-Modal In-Context Instruction Tuning（MIMIC-IT）数据集，并展示了 Otter 在遵循指令和上下文学习方面的优秀能力。
一种用于与人类对话的视觉和语言模型
简述： 本文介绍了一种名为 MultiModal-GPT 的视觉和语言模型，用于与人类进行多轮对话。该模型可以从人类那里遵循各种指令，例如生成详细的描述、计算感兴趣的对象数量以及回答用户提出的一般问题。作者使用视觉和语言数据构建了多模态指令调优的指令模板，以使模型能够理解和遵循人类的指令。作者还利用仅语言指令跟随数据对 MultiModal-GPT 进行联合训练，有效地提高了对话性能。
上述 18 种方法展示了指令调优技术的演进路径。从早期的 InstructGPT 引入人类反馈，到 Alpaca、Vicuna 等开源模型的崛起，再到 LIMA 提出的'少即是多'理念，技术重心逐渐从单纯增加数据量转向提升数据质量和效率。多模态领域的发展则进一步拓展了 LLM 的边界，使其能够处理图像和视频信息。
在实际应用中，选择哪种调优方法需考虑具体场景需求。若追求通用对话能力，Dolly 2.0 或 Vicuna 是不错的选择；若涉及视觉任务，LLaVA 或 InstructBLIP 更为合适。未来，随着开源生态的完善和算力成本的降低，指令调优将成为定制垂直领域大模型的标准流程。开发者应关注高质量指令数据的构建，平衡模型规模与性能，以实现更高效、可控的 AI 系统。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
