LLaMA-Factory 统一框架实现大模型高效微调

Efficient fine-tuning（高效微调）对于将大型语言模型（LLMs）调整到下游任务中至关重要。然而要在不同模型上实现这些方法需要付出相当大的努力。LLaMA-Factory 是一个统一的框架，集成了一套先进的高效训练方法。它允许用户通过内置的 Web UI 灵活定制 100 多个 LLMs 的微调，而无需编写代码。

LLaMA-Factory 概览

> https://arxiv.org/pdf/2403.13372.pdf
> https://github.com/hiyouga/LLaMA-Factory

核心特性

多种精度支持：32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。
先进算法集成：GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ 和 Agent 微调。
实用技巧优化：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。

LLaMA-Factory 的起源

大型语言模型（LLMs）展示了卓越的推理能力，并赋予了各种应用程序以动力，随后大量的 LLMs 通过开源社区开发并可供使用。例如，Hugging Face 的开源 LLM 排行榜拥有超过 5,000 个模型，为希望利用 LLMs 强大功能的个人提供了便利。

使用有限资源对极大数量的参数进行微调成为将 LLM 调整到下游任务的主要挑战。一个流行的解决方案是高效微调，它在适应各种任务时降低了 LLMs 的训练成本。然而社区提出了各种高效微调 LLMs 的方法，缺乏一个系统的框架来将这些方法适应和统一到不同的 LLMs，并为用户提供友好的界面进行定制。

为解决上述问题，LLaMA-Factory 是一个 LLMs 微调的框架。它通过可伸缩模块统一了各种高效微调方法，实现了使用最小资源和高吞吐量微调数百个 LLMs。此外，它简化了常用的训练方法，包括生成式预训练、监督微调、基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）。用户可以利用命令行或 Web 界面定制和微调他们的 LLMs，几乎不需要编写代码。

高效微调技术

高效 LLM 微调技术可以分为两大类：一类侧重于优化，另一类旨在计算。高效优化技术的主要目标是在保持成本最低的同时调整 LLMs 的参数。另一方面，高效计算方法旨在减少 LLMs 中所需计算的时间或空间。

高效微调技术分类

高效优化

冻结微调方法：涉及在微调少部分解码器层的同时冻结大部分参数。
梯度低秩投影：将梯度投影到一个低维空间中，以一种内存高效的方式进行全参数学习。
低秩适应（LoRA）：冻结所有预训练权重，并在指定的层引入一对可训练的低秩矩阵。
量化结合（QLoRA）：当与量化结合时，这种方法被称为 QLoRA，它额外降低了内存使用。

高效计算

使用的技术包括混合精度训练和激活检查点。通过对注意力层的输入输出（IO）开销进行检查，Flash Attention 引入了一种硬件友好的方法来增强注意力计算。S2 Attention 解决了在块稀疏注意力中扩展上下文的挑战，从而减少了在微调长上下文 LLMs 中的内存使用。各种量化策略通过使用更低精度的权重表示减少了大型语言模型（LLMs）的内存需求。

LLaMA-Factory 有效地将这些技术结合到一个统一的结构中，大大提高了 LLM 微调的效率。这将导致内存占用从混合精度训练中的每个参数 18 字节，或者 bfloat16 训练中的每个参数 8 字节，减少到仅 0.6 字节每个参数。