本文介绍了基于 LoRA 技术对 Stable Diffusion 多模态大模型进行微调的完整流程。内容包括数据收集与爬虫实现、训练环境配置、模型训练脚本参数详解、推理阶段 LoRA 权重的加载与动态调整，以及多 LoRA 模型融合的方法。通过具体代码示例展示了如何从原始模型出发，利用少量样本训练出特定风格的生成模型，并提供了常见问题排查与最佳实践建议，旨在帮助开发者在有限资源下高效完成定制化微调任务。
LoRA (Low-Rank Adaptation) 是一种高效的参数微调技术。在训练 Stable Diffusion 时，首先冻结模型的权重，然后在 U-Net 结构中注入 LoRA 矩阵，将其与交叉注意力模块结合。微调时仅更新这部分低秩参数，从而大幅降低显存占用并加速收敛。
本次微调将使用数码宝贝数据集作为下游细分任务。Stable Diffusion 的训练数据格式直观，即一张图片对应一段文本描述。我们需要通过爬虫整理数据，包括名称、介绍和对应的图片链接，并按指定格式保存。
{
"file_name": "0001.png",
"text": "image 1 description"
}
文件夹结构示例：
folder/train/metadata.jsonl # 存储 caption 描述
folder/train/0001.png
folder/train/0002.png
...
为了实现数据收集，我们使用 Python 的 requests 库获取网页内容，并使用 BeautifulSoup 解析 HTML。分析发现，所有数码兽信息存在于 id 为 digimon_list 的 ul 列表中，每一行是一个 li 标签，包含详情链接。
具体步骤如下：
以下是核心代码示例：
import os
import json
import requests
from bs4 import BeautifulSoup
# 创建文件夹
data_dir = "./train"
if not os.path.exists(data_dir):
os.makedirs(data_dir)
# 请求数码兽图鉴页面
url = "http://digimons.net/digimon/chn.html"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
# 遍历所有的 li 标签
digimon_list = soup.find("ul", id="digimon_list")
for digimon in digimon_list.find_all("li"):
try:
# 获取数码兽名称和详情页面链接
name = digimon.find('a')["href"].split('/')[0]
detail_url = "http://digimons.net/digimon/" + digimon.find('a')["href"]
# 进入详情页面，获取数码兽介绍和图片链接
response = requests.get(detail_url)
soup = BeautifulSoup(response.content, "html.parser")
caption = soup.find("div", class_="profile_eng").find('p').text.strip()
img_url = f"http://digimons.net/digimon/{name}/{name}.jpg"
# 保存图片
img_data = requests.get(img_url).content
file_name = f"{len(os.listdir(data_dir)) + 1:04d}.png"
with open(os.path.join(data_dir, file_name), "wb") as f:
f.write(img_data)
# 将数据整理成指定的格式，并保存到对应的文件中
metadata = {"file_name": file_name, "text": f"{name}. {caption}"}
with open(os.path.join(data_dir, "metadata.jsonl"), 'a') as f:
f.write(json.dumps(metadata, ensure_ascii=False) + '\n')
except Exception as e:
print(f"Error processing {name}: {e}")
整理完成后，可将数据集发布到 Hugging Face Hub 以便共享。Hugging Face Hub 是 AI 领域广泛使用的资源平台。若需上传，请注册账号后创建 Dataset 仓库，选择公开或私有权限，随后通过 Files and versions 页面上传图片和元数据文件。
为了保证能够成功运行最新版的训练代码，建议通过源码重新安装 Diffusers 库：
pip install git+https://github.com/huggingface/diffusers
接着初始化 Accelerate 分布式训练环境：
accelerate config
配置过程中需注意以下选项：
当前 LoRA 技术主要支持 UNet2DConditionalModel。Diffusers 团队推出了适用于 LoRA 的微调脚本，该脚本优势在于能在较低显存（约 11GB）环境中稳定运行，且无需依赖 8-bit 优化技术。
accelerate launch --mixed_precision="fp16" train_text_to_image_lora.py \
--pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
--train_data_dir="./train_data" \
--dataloader_num_workers=0 \
--resolution=512 --center_crop --random_flip \
--train_batch_size=1 \
--gradient_accumulation_steps=4 \
--max_train_steps=15000 \
--learning_rate=1e-04 \
--max_grad_norm=1 \
--lr_scheduler="cosine" --lr_warmup_steps=0 \
--output_dir="./finetune/lora/digimon" \
--checkpointing_steps=500 \
--validation_prompt="Blue Agumon" \
--seed=1024
参数说明：
--mixed_precision="fp16": 启用混合精度训练。--pretrained_model_name_or_path: 预训练模型路径。--train_data_dir: 训练数据目录。--resolution: 图像分辨率，设为 512。--gradient_accumulation_steps: 梯度累积步数，模拟更大 Batch Size。--max_train_steps: 最大训练步数，设为 15000。--learning_rate: 学习率，设为 0.0001。--lr_scheduler: 学习率调度器采用余弦退火策略，不进行预热。--output_dir: 检查点保存路径。--validation_prompt: 验证提示词，用于监控生成效果。LoRA 的主要优势在于可以通过训练比原始模型小几个数量级的权重获得出色结果。使用 load_attn_procs 函数可以在原始 Stable Diffusion 模型权重之上加载额外的 LoRA 权重。
import torch
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
model_path = "runwayml/stable-diffusion-v1-5"
LoRA_path = "./finetune/lora/digimon" # 修改成本地 LoRA 模型路径
pipe = StableDiffusionPipeline.from_pretrained(model_path, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.unet.load_attn_procs(LoRA_path)
pipe.to("cuda")
# 生成图像
image = pipe("blue skin agumon", num_inference_steps=50).images[0]
image.save("test.png")
代码解析：
load_attn_procs 方法加载本地 LoRA 权重至 unet 模块。在推理阶段，我们可以动态调整 LoRA 的权重系数来平衡生成效果。
通过 cross_attention_kwargs 中的 scale 参数控制 LoRA 的影响程度：
scale=0: 不使用 LoRA 权重，仅使用主模型。scale=1: 完全应用 LoRA 权重。scale < 1: 减弱 LoRA 效果，可缓解过拟合。scale > 1: 增强 LoRA 效果，若原效果不明显可尝试此值。pipe.unet.load_attn_procs(lora_model_path)
pipe.to("cuda")
image = pipe(
"A agumon with blue skin.",
num_inference_steps=25,
guidance_scale=7.5,
cross_attention_kwargs={"scale": 0.5}
).images[0]
image.save("blue_pokemon.png")
除了单个 LoRA，还可以同时添加多个 LoRA 模型到主模型中，并分别调整它们的权重比例。例如，将两个 LoRA 模型的权重均设置为 0.5，则相当于取两者的平均效果；若设置为 0.7 和 0.3，则第一个模型的效果占比更高。
--train_batch_size 或增加 --gradient_accumulation_steps，或者开启 --xformers 优化。本文详细阐述了基于 LoRA 技术对 Stable Diffusion 多模态大模型进行微调的完整流程。从数据采集、清洗、格式化，到环境配置、模型训练，再到推理阶段的权重调整与多模型融合，提供了可落地的代码示例与参数建议。通过 LoRA 微调，开发者可以在有限的计算资源下快速定制特定领域的图像生成模型，提升生成内容的专业性与准确性。在实际应用中，建议根据具体任务需求灵活调整超参数，并结合验证集效果持续优化模型表现。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online