lora-scripts部署教程：Stable Diffusion LoRA训练全流程，支持小数据50张图起步

优质文章学习记录

— 11 min read

lora-scripts部署教程：Stable Diffusion LoRA训练全流程，支持小数据50张图起步

想用AI画出你专属的动漫头像，或者生成特定风格的插画，但网上现成的模型总是不合心意？自己训练一个模型听起来又太复杂，感觉无从下手？

别担心，今天要介绍的这个工具，能让训练专属AI模型变得像搭积木一样简单。它就是 lora-scripts，一个专门为Stable Diffusion等模型设计的LoRA训练工具。你不需要懂复杂的代码，也不用准备海量数据，只要准备好几十张图片，跟着这篇教程，就能亲手“调教”出一个懂你心意的AI画师。

1. 为什么你需要了解lora-scripts？

简单来说，lora-scripts是一个“开箱即用”的模型训练工具。它把训练一个AI模型过程中所有繁琐的步骤——比如准备数据、调整参数、启动训练、导出结果——都打包成了简单的脚本命令。你只需要按顺序执行几个命令，就能完成整个训练流程。

它的核心价值在于降低门槛和提升效率。

  • 对新手友好：你不需要理解LoRA（Low-Rank Adaptation）背后的复杂数学原理，也不用自己写一行训练代码。工具已经帮你把最佳实践封装好了。
  • 流程自动化：从图片打标签到最终生成模型文件，整个过程几乎是自动化的，大大减少了手动操作和出错的可能。
  • 资源要求低：它特别适合“小数据”训练。官方示例从50张图起步，这意味着你用自己手机拍的一些照片，或者收集的一些网络图片，就足以训练一个可用的模型。同时，它对电脑显卡的要求也比较亲民，像RTX 3060（12GB显存）这样的消费级显卡就能跑起来。
  • 用途广泛：虽然本教程重点讲为Stable Diffusion训练画风或人物的LoRA，但这个工具同样支持为大语言模型（比如LLaMA、ChatGLM）训练LoRA。这意味着你也可以用它来定制一个更懂你专业领域（比如法律、医疗）或者具有特定说话风格的聊天AI。

接下来，我们就从零开始，一步步完成你的第一个LoRA模型训练。

2. 训练前的准备工作

工欲善其事，必先利其器。在开始训练之前，我们需要把环境和数据准备好。

2.1 基础环境搭建

首先，你需要确保电脑上已经安装了一些基础软件。

  1. 安装Python：建议使用Python 3.10版本，这是目前AI领域兼容性最好的版本之一。你可以从Python官网下载安装。
  2. 安装Git：用于从网上下载lora-scripts的代码。同样从Git官网下载安装即可。
  3. 准备显卡驱动：确保你的NVIDIA显卡驱动是最新的。这对于后续安装PyTorch等深度学习库至关重要。

环境准备好后，我们获取lora-scripts工具本身。

# 1. 克隆lora-scripts项目到本地 git clone https://github.com/akfamily/lora-scripts.git cd lora-scripts # 2. 创建并激活Python虚拟环境（推荐，可以避免包冲突） python -m venv venv # 在Windows上激活： venv\Scripts\activate # 在Linux/Mac上激活： source venv/bin/activate # 3. 安装项目依赖包 pip install -r requirements.txt

执行完上述命令后，你的基础训练环境就搭建好了。

2.2. 准备你的训练数据

数据是训练模型的“粮食”，质量直接决定模型的好坏。对于Stable Diffusion的LoRA训练，数据准备的核心是图片和对应的文字描述。

图片要求（以训练人物LoRA为例）：

  • 数量：50-200张。起步50张足够，更多更好，但要注意质量。
  • 质量：清晰、高清。主体（比如人脸）要突出，背景尽量干净简单。
  • 多样性：这是关键！你需要准备目标人物在不同角度、不同表情、不同光照、不同场景下的图片。如果全是正面大头照，训练出的模型可能只会画正脸。
  • 格式与尺寸：JPG或PNG格式。建议统一裁剪或缩放到512x512、768x768等标准尺寸（最好是64的倍数）。

文字描述（标签/Tag）准备： 每张图片都需要一段文字描述，告诉AI图片里有什么。lora-scripts提供了两种打标签的方式：

  • 自动打标：工具内置了图像识别模型，可以自动为你的图片生成描述词。优点是快，缺点是可能不够精确或缺少风格关键词。
  • 手动打标：你自己为每张图片写描述。优点是精准，可以加入你想让模型学习的风格词（如“masterpiece, best quality, 1girl, white hair”），缺点是耗时。

建议新手可以先使用自动打标，生成一个基础标签文件，然后再进行手动检查和修正，这样效率最高。

我们假设你已将50张“白毛红瞳”的动漫角色图片放在了 D:\lora_data\my_waifu 这个文件夹里。接下来，我们创建一个标准的训练数据文件夹。

# 在你的lora-scripts项目根目录下操作 mkdir -p data/my_waifu_train # 然后将你的50张图片复制到 data/my_waifu_train 文件夹内

3. 从零开始：五步完成LoRA训练

一切就绪，让我们开始真正的训练之旅。整个过程可以分解为五个清晰的步骤。

3.1 第一步：为图片生成标签

首先，我们使用工具自带的脚本为图片自动生成描述。

# 在项目根目录下执行 python tools/auto_label.py --input data/my_waifu_train --output data/my_waifu_train/metadata.csv

执行后，你会发现在 data/my_waifu_train 文件夹里多了一个 metadata.csv 文件。用Excel或文本编辑器打开它，你会看到类似这样的内容：

filename,caption img001.jpg,1girl, white hair, red eyes, looking at viewer img002.jpg,1girl, white hair, red eyes, smiling, outdoors ...

现在，你需要仔细检查并修改这些标签。例如，如果所有图片都是同一个动漫角色“小雪”，你可以在每行描述的最前面加上“xiao xue, (character)”，让模型更好地学习到这个概念。修改后保存。

3.2 第二步：配置训练参数

lora-scripts通过一个YAML配置文件来控制整个训练过程。我们先复制一份默认配置模板，然后修改它。

cp configs/lora_default.yaml configs/my_waifu_config.yaml

用文本编辑器打开 configs/my_waifu_config.yaml，找到并修改以下几个关键部分：

# 数据配置部分 train_data_dir: "./data/my_waifu_train" # 你的训练图片文件夹路径 metadata_path: "./data/my_waifu_train/metadata.csv" # 你的标签文件路径 # 模型配置部分 base_model: "./models/Stable-diffusion/sd_xl_base_1.0.safetensors" # 基础模型路径，需提前下载好 lora_rank: 8 # LoRA的“学习能力”，数字越大模型越复杂，常用4-16 # 训练配置部分 batch_size: 2 # 一次训练几张图，根据你的显卡显存调整。8GB显存可从2开始试 epochs: 10 # 把所有数据训练多少轮。数据少（50张）可以设10-15轮 learning_rate: 1e-4 # 学习速度，新手用默认值就好 # 输出配置部分 output_dir: "./output/my_waifu_lora" # 训练好的模型保存到这里 save_steps: 100 # 每训练100步保存一个中间模型

重要提示：你需要提前从网上下载一个Stable Diffusion基础模型（如SD 1.5, SDXL 1.0），并放在 models/Stable-diffusion/ 目录下。这是LoRA训练所基于的“底模”。

3.3 第三步：启动训练并监控

配置完成后，一行命令即可启动训练。

python train.py --config configs/my_waifu_config.yaml

训练开始后，控制台会滚动显示日志。你会看到一个重要的指标叫 loss（损失值）。它的变化趋势是判断训练好坏的关键：

  • 正常情况：loss 值会随着训练步数快速下降，然后逐渐趋于平稳，在一个较低的水平小幅波动。
  • 训练不足：如果loss还在持续快速下降就停止了，说明模型还没学够，可以增加 epochs。
  • 过拟合：如果loss已经降到非常低（比如0.05以下），但生成的图片效果很差、缺乏多样性，说明模型“死记硬背”了训练图，需要减少 epochs 或增加数据。

你还可以使用TensorBoard来更直观地查看训练曲线：

tensorboard --logdir ./output/my_waifu_lora/logs --port 6006

然后在浏览器中打开 http://localhost:6006，就能看到漂亮的损失曲线图了。

3.4 第四步：测试与使用训练好的LoRA

训练完成后，在 output/my_waifu_lora 目录下，你会找到最终模型文件（通常是 pytorch_lora_weights.safetensors）。

如何使用它呢？以最流行的Stable Diffusion WebUI为例：

  1. 将这个 .safetensors 文件复制到 WebUI 的 models/Lora 文件夹下。
  2. 重启WebUI。
  3. 在文生图页面的提示词中，点击LoRA标签，选择你刚训练好的模型（如 my_waifu_lora），它会自动添加一段像 <lora:my_waifu_lora:1> 的语法到提示词中。
  4. 调整后面的数字（如0.7, 0.8），这个叫权重强度。强度1.0代表完全应用，通常0.7-0.8的效果更自然。
  5. 输入其他描述，如“xiao xue, masterpiece, best quality, walking in the cherry blossom garden”，然后点击生成。看看AI是不是画出了具有“小雪”特征，但在新场景下的图片？

3.5 第五步：效果不佳？试试这样调整

第一次训练效果不理想非常正常。别灰心，你可以根据现象来调整“配方”：

遇到的现象可能的原因调整建议
生成的图片根本不像1. 数据太少或质量差
2. 标签不准确
3. 训练轮数太少		1. 增加高质量图片到100张以上
2. 仔细修正标签，确保包含核心特征词
3. 适当增加 epochs (如15-20)
图片像，但很模糊或畸形1. 基础模型不匹配
2. 训练图片分辨率不一
3. 学习率可能太高		1. 换一个更通用的基础模型（如SD 1.5）
2. 将所有训练图预处理成统一尺寸
3. 将 learning_rate 调低（如5e-5）
只会复刻训练图，没有新意过拟合了：模型只记住了训练集1. 减少 epochs (如5-8)
2. 在标签中加入更通用的描述词
3. 使用“分层学习率”等进阶技巧（在配置中设置）
训练时显存不足报错批次太大或图片分辨率太高1. 降低 batch_size (设为1)
2. 在配置中启用“梯度检查点”
3. 将训练图片分辨率降至512x512

4. 总结：你的专属AI模型之旅

回顾一下，我们用lora-scripts训练一个定制化AI画师，其实就做了五件事：准备图片、打标签、改配置、跑训练、测试效果。整个过程清晰明了，即使没有深度学习背景，也能跟着走下来。

它的最大意义在于，将AI模型定制的能力，从实验室和大型公司，交到了每一个有想法的个人创作者手中。你不再需要等待别人发布你想要的模型，而是可以主动创造。

你可以训练一个学习了你画风的LoRA，让它帮你生成线稿；可以为你的电商产品训练一个LoRA，快速生成风格统一的宣传图；甚至可以为家里的宠物训练一个LoRA，让它出现在各种奇幻的场景里。可能性只受限于你的想象力。

第一次尝试可能会遇到问题，但每一次调整参数、重新训练，都是你与AI模型的一次“对话”，你会更深刻地理解数据、算法和结果之间的关系。这正是AI时代令人兴奋的参与方式——不仅是使用者，更是创造者。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 ZEEKLOG星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
Could not load content