LLaMA-Factory 是一款专为大型语言模型微调设计的低代码开源框架。它支持高效低成本地微调上百个模型，提供友好的 Web 界面，用户无需编写代码即可定制和微调。集成了 LoRA、GaLore、DoRA 等多种微调方法和优化技术，支持多模态指令监督微调、奖励模型训练等。具备实时监控评估功能，集成 TensorBoard 等工具，并提供基于 vLLM 的极速推理 API。安装过程简便，通过 conda 创建环境、克隆代码库并安装依赖即可启动服务，适合快速上手大模型应用开发。支持通过 YAML 配置文件灵活定义训练任务，涵盖多种模型架构与精度选项。
LLaMA-Factory 是一个低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计。其主要功能特点包括：
LLaMA-Factory 的安装相对简单，以下是一般的安装步骤（以 conda 环境为例）：
使用 conda 创建一个新的 Python 环境，并安装必要的依赖库，如 PyTorch 等。
conda create -n llm python=3.10
conda activate llm
通过 Git 克隆 LLaMA-Factory 的源代码到本地。
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
进入项目目录，安装必要的 Python 依赖库。
pip install -e ".[torch,metrics]"
在项目目录中运行 python src/train_web.py 启动服务，然后在浏览器中访问相应的端口（默认可能是 7860）以访问训练界面。
LLaMA-Factory 支持多种先进的微调算法和模型，包括但不限于：
与 ChatGLM 官方的 P-Tuning 微调相比，LLaMA Factory 的 LoRA 微调提供了 3.7 倍的加速比，同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术，LLaMA Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。
GPU 显存消耗详情如下：
LLaMA-Factory 允许通过 YAML 配置文件来定义微调任务，这种方式比命令行更灵活且易于管理。以下是一个使用 LLaMA-Factory 对 Yuan2.0 模型进行 LoRA 微调的配置示例及流程说明。
准备自定义的数据集，可以是 JSON 格式，包含指令、输入和输出等信息。数据集文件通常放置在 dataset_info.json 中注册。
在 LLaMA-Factory 的数据集管理文件中注册自定义的数据集路径和格式。
创建一个 YAML 文件（例如 lora_sft.yaml），配置模型路径、微调方法、数据集路径及超参数。
eval_strategy: steps
per_device_train_batch_size: 4
gradient_accumulation_steps: 4
learning_rate: 1.0e-4
lr_scheduler_type: cosine
max_seq_length: 1024
output_dir: ./outputs/yuan2_lora
overwrite_output_dir: true
seed: 42
total_batch_size: 16
train_on_inputs: false
use_lora: true
运行 python src/train_web.py 启动 Web UI 服务，并在浏览器中打开相应的地址。
在 Web 界面上配置模型路径、微调方法（选择 LoRA）、数据集等参数，或直接加载上述 YAML 配置文件。
点击'开始'按钮开始微调过程，可以在界面中查看训练进度和损失函数等信息。
微调完成后，使用 LLaMA-Factory 提供的评估工具对模型进行评估，检查模型性能是否有所提升。可以通过命令行调用评估脚本或直接在 Web UI 中选择评估任务。
通过以上步骤，用户可以利用 LLaMA-Factory 轻松实现 LLMs 的微调，提升模型在特定任务上的性能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online