LLaMA-Factory 是一个统一的大模型微调框架，集成了多种高效训练方法如 LoRA、QLoRA、GaLore 等，支持 100 多个模型和 50 多个数据集。该框架通过模型加载器、数据处理器和训练器三大模块，结合 FlashAttention-2、Unsloth 等技术，大幅降低显存占用并提升训练效率。用户可通过 WebUI 或命令行进行全参数、冻结或低秩微调，无需编写复杂代码。相比传统方法，QLoRA 能显著减少内存需求，LoRA 则提供更高吞吐量。框架支持 RLHF 和 DPO 等多种训练模式，适用于中英文场景下的模型适配与优化。
Efficient fine-tuning（高效微调）对于将大型语言模型（LLMs）调整到下游任务中至关重要。然而要在不同模型上实现这些方法需要付出相当大的努力。LLaMA-Factory 是一个统一的框架，集成了一套先进的高效训练方法。它允许用户通过内置的 Web UI 灵活定制 100 多个 LLMs 的微调，而无需编写代码。
> https://arxiv.org/pdf/2403.13372.pdf
> https://github.com/hiyouga/LLaMA-Factory
大型语言模型（LLMs）展示了卓越的推理能力，并赋予了各种应用程序以动力，随后大量的 LLMs 通过开源社区开发并可供使用。例如，Hugging Face 的开源 LLM 排行榜拥有超过 5,000 个模型，为希望利用 LLMs 强大功能的个人提供了便利。
使用有限资源对极大数量的参数进行微调成为将 LLM 调整到下游任务的主要挑战。一个流行的解决方案是高效微调，它在适应各种任务时降低了 LLMs 的训练成本。然而社区提出了各种高效微调 LLMs 的方法，缺乏一个系统的框架来将这些方法适应和统一到不同的 LLMs，并为用户提供友好的界面进行定制。
为解决上述问题，LLaMA-Factory 是一个 LLMs 微调的框架。它通过可伸缩模块统一了各种高效微调方法，实现了使用最小资源和高吞吐量微调数百个 LLMs。此外，它简化了常用的训练方法，包括生成式预训练、监督微调、基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）。用户可以利用命令行或 Web 界面定制和微调他们的 LLMs，几乎不需要编写代码。
高效 LLM 微调技术可以分为两大类：一类侧重于优化，另一类旨在计算。高效优化技术的主要目标是在保持成本最低的同时调整 LLMs 的参数。另一方面，高效计算方法旨在减少 LLMs 中所需计算的时间或空间。
使用的技术包括混合精度训练和激活检查点。通过对注意力层的输入输出（IO）开销进行检查，Flash Attention 引入了一种硬件友好的方法来增强注意力计算。S2 Attention 解决了在块稀疏注意力中扩展上下文的挑战，从而减少了在微调长上下文 LLMs 中的内存使用。各种量化策略通过使用更低精度的权重表示减少了大型语言模型（LLMs）的内存需求。
LLaMA-Factory 有效地将这些技术结合到一个统一的结构中，大大提高了 LLM 微调的效率。这将导致内存占用从混合精度训练中的每个参数 18 字节，或者 bfloat16 训练中的每个参数 8 字节，减少到仅 0.6 字节每个参数。
LLaMA-Factory 由三个主要模块组成：模型加载器（Model Loader）、数据处理器（Data Worker）和训练器（Trainer）。
比较了完全微调、冻结微调、GaLore、LoRA 和 4 位 QLoRA 的结果。微调后，我们计算训练样本上的困惑度，以评估不同方法的效率。
我们观察到，QLoRA 始终具有最低的内存占用，因为预训练权重采用了更低的精度表示。LoRA 通过 Unsloth 在 LoRA 层中的优化，实现了更高的吞吐量。
Mistral-7B 模型在英文数据集上表现更好，而 Qwen1.5-7B 模型在中文数据集上获得了更高的分数。这些结果表明，微调模型的性能也与它们在特定语言上的固有能力相关联。
确保已安装 Python 3.8+ 及 PyTorch。推荐使用虚拟环境管理依赖。
pip install llama-factory
LLaMA-Factory 提供了直观的 Web 界面，适合快速实验。
llamafactory-cli webui
在浏览器中打开指定地址，选择模型、数据集和训练参数即可开始。
对于自动化流程，可使用命令行脚本。
llamafactory-cli train --stage sft --model_name_or_path ... --dataset ...
详细参数请参考官方文档。
LLaMA-Factory 通过统一框架整合了多种高效微调技术，显著降低了大模型微调的门槛和资源消耗。无论是研究人员还是开发者，都可以利用其提供的 WebUI 或命令行工具，快速完成从全量微调到 QLoRA 的各种实验。随着生态的完善，它将成为大模型应用落地的重要基础设施之一。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online