跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客我的书AI学习GitHub 精选镜像AI 生图工具UI配色美学关于
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

大模型训练:LLaMA-Factory 快速上手

介绍使用 LLaMA-Factory 进行大模型微调的快速入门指南。内容包括环境安装(基于 Conda 和 PyTorch)、数据格式准备(Alpaca JSON)以及多 GPU 环境下启动 LoRA 微调的具体命令配置。通过示例展示了如何配置 Accelerate 并执行训练脚本,适用于具备基础 Linux 操作经验的开发者。

路由之心发布于 2026/4/6更新于 2026/9/1074 浏览

第 1 步:安装环境

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
conda create -n llama-factory python=3.10
conda activate llama-factory
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install -e ".[torch,metrics]"

⚠️ 注意:推荐使用 CUDA 环境,GPU 显存建议 ≥24GB(如 3090/4090)


第 2 步:准备数据

支持多种格式,最常用的是 Alpaca 格式 JSON 文件:

[
  {"instruction":"写一首关于春天的诗","input":"","output":"春风拂面花自开,柳绿桃红映山川..."},
  {"instruction":"解释什么是机器学习","input":"","output":"机器学习是让计算机从数据中自动学习规律的技术..."}
]

📌 存为 my_data.json,放在 data/ 目录下。


第 3 步:启动训练 - 多 GPU(以 LoRA 微调 Qwen-7B 为例)

参考 examples/accelerate 下面的文件,准备自己的 yaml 文件。

compute_environment: LOCAL_MACHINE
debug: 
 

 
 
 
 
 
 
 
 
 []
 
 
 
 
false
distributed_type:
MULTI_GPU
downcast_bf16:'no'
gpu_ids:
0
,1,2,3
machine_rank:
0
main_training_function:
main
mixed_precision:
fp16
num_machines:
1
num_processes:
4
rdzv_backend:
static
same_network:
true
tpu_env:
tpu_use_cluster:
false
tpu_use_sudo:
false
use_cpu:
false
main_process_port:
29503

启用多 GPU 训练

#!/bin/bash
CUDA_VISIBLE_DEVICES=4,5,6,7 accelerate launch --config_file config.yaml ../src/train.py \
  --stage sft \
  --do_train True \
  --template qwen3 \
  --finetuning_type lora \
  --model_name_or_path ../Qwen/Qwen3-0.6B \
  --dataset_dir ./vehicle_control_dataset \
  --dataset my_data \
  --output_dir ./saves \
  --overwrite_cache \
  --overwrite_output_dir \
  --cutoff_len 1024 \
  --per_device_train_batch_size 1 \
  --per_device_eval_batch_size 1 \
  --gradient_accumulation_steps 8 \
  --lr_scheduler_type cosine \
  --max_grad_norm 1.0 \
  --logging_steps 10 \
  --save_steps 200 \
  --warmup_steps 0 \
  --learning_rate 5e-5 \
  --num_train_epochs 3.0 \
  --max_samples 100000 \
  --fp16 True \
  --lora_rank 8 \
  --lora_dropout 0.1 \
  --lora_target all \
  --plot_loss True

目录

  1. 第 1 步:安装环境
  2. 第 2 步:准备数据
  3. 第 3 步:启动训练 - 多 GPU(以 LoRA 微调 Qwen-7B 为例)

更多推荐文章

查看全部
  • FPGA 低延迟库在高频交易中的实战优化与避坑指南
  • Python 常用集成开发环境(IDE)功能对比与选择指南
  • GitHub Copilot 提示词工程实战指南:从基础到精通
  • Python venv 虚拟环境工具使用指南及 uv 升级教程
  • 边缘计算设备部署轻量 TensorFlow 模型全流程
  • Agent 为何成为 AI 应用爆发点及企业盈利路径
  • Continue插件实现本地部署一个“cursor”或“github copilot”
  • 基于 ELF 2 开发板的多传感信息融合多用途巡检机器人
  • 互联网产品经理转型大模型 AI 产品经理实战指南
  • Git 分布式版本控制:安装、配置与实战
  • 基于 Go 语言构建命令行 AI 对话客户端:从环境部署到核心实现
  • FPGA 实战:Verilog 编写 PID 控制器驱动 PWM 精准调压
  • @anthropic-ai/claude-code 安装报错 Node.js 版本过低解决方法
  • 腾讯云开发 Copilot 低代码开发体验与技术分析
  • LLaMA-Factory 集成 vLLM 的安装与推理速度实测
  • C++十大核心应用领域:技术栈与代码示例详解
  • Llama-Factory 快速迭代 NLP 模型微调指南
  • AR 健身教练“形随心动”:基于 Rokid CXR-M SDK 的 Android 开发实践
  • AI 核心概念解析:Skill、MCP 与 Function Call
  • 人类与 AI 的意群阅读机制及英语学习技巧

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online