LoRA 是一种高效的微调技术，用于 Stable Diffusion 等生成式 AI 模型的定制。它通过低秩矩阵分解机制，在保持较小文件体积（2-200MB）的同时提供接近 Dreambooth 的训练能力。 LoRA 的原理、与 Dreambooth 及文本反转的对比、在 AUTOMATIC1111 WebUI 中的安装与使用方法、提示词语法、权重调整技巧以及多模型叠加策略。此外，还涵盖了实用 LoRA 类型如细节增强、饱和度调整和亮度控制，并简要概述了 LoRA 训练的基础流程，包括数据准备、参数设置及常见问题排查，旨在帮助用户全面掌握 LoRA 技术的应用。
LoRA（Low-Rank Adaptation，低秩适应）是一种高效的微调技术，广泛应用于 Stable Diffusion 等生成式 AI 模型的定制。与传统的 Dreambooth 或文本反转（Textual Inversion）相比，LoRA 在保持较小文件体积的同时，提供了强大的风格迁移和概念学习能力。本文将深入探讨 LoRA 的原理、优势、安装使用方法以及训练基础。
LoRA 本质上是对预训练模型权重的低秩分解与适配。虽然我们已经拥有 Dreambooth 和文本反转等训练技术，但 LoRA 提供了一种更优的折中方案：
由于原始 Checkpoint 模型体积庞大，本地存储空间往往成为瓶颈。LoRA 通过仅修改模型的关键部分来改变输出风格，是解决存储问题的优秀方案。
注意：与文本反转类似，LoRA 模型不能单独使用。它必须与基础的模型检查点文件配合使用。LoRA 通过对配套模型文件进行微小的权重调整来改变生成图像的风格或内容。
LoRA 的核心在于对 Stable Diffusion 模型中最关键的部分进行微调，即交叉注意力层（Cross-Attention Layers）。研究表明，微调这部分参数足以实现良好的训练效果。
交叉注意力层的权重以矩阵的形式排列。LoRA 模型通过将自己的权重加到这些矩阵上来微调模型。为了减小文件体积，LoRA 的技巧是将大矩阵分解成两个更小的低秩矩阵。
假设原始模型有一个 $100 \times 100$ 的矩阵，需要存储 10,000 个数字。LoRA 将其分解为一个 $100 \times 2$ 矩阵和一个 $2 \times 100$ 矩阵。这样只需要存储 $100 \times 2 + 2 \times 100 = 400$ 个数字。如果矩阵更大，LoRA 带来的压缩效果越明显。
在这个例子中，矩阵的秩（Rank）是 2。这比原始尺寸低得多，因此被称为低秩矩阵。这种操作虽然理论上会带来数据缺失，但在交叉注意力层中，这些损失通常是无伤大雅的，使得 LoRA 的做法在工程上完全可行。
Civitai 是目前寻找 LoRA 模型的首选平台。该网站托管了大量社区贡献的 LoRA 模型集合。应用 LoRA 过滤器可以仅查看相关模型。大多数模型涵盖女性肖像、动漫风格、现实主义插图等常见类别。
Hugging Face 是另一个优质的 LoRA 库来源。这里你会发现更多种类的 LoRA 模型，包括一些实验性或特定领域的模型。不过，相比 Civitai，Hugging Face 上的模型可能数量较少，且界面不够直观，通常缺乏图片预览功能。
本文介绍如何在 AUTOMATIC1111 Stable Diffusion WebUI 中使用 LoRA 模型。AUTOMATIC1111 原生支持 LoRA，无需安装额外扩展。
要在 AUTOMATIC1111 WebUI 中安装 LoRA 模型，请将下载的 .safetensors 或 .ckpt 格式模型文件放入以下目录：
stable-diffusion-webui/models/Lora/
重启 WebUI 后，系统会自动识别新放入的模型。
在 AUTOMATIC1111 中添加带权重的 LoRA，可以在正向提示词或反向提示词中使用以下语法：
<lora:名称：权重>
在 WebUI 界面底部通常有一个 LoRA 标签区域。点击该标签，你会看到一个已安装的 LoRA 模型列表。单击你想要使用的模型，LoRA 短语将被自动插入到提示词框中。
你可以调整乘数以增强或减弱效果。将乘数设置为 0 将禁用 LoRA 模型。你可以在 0 到 1 之间调整风格效果的强度，甚至可以使用负权重来减少某些特征的影响。
部分 LoRA 模型是使用 Dreambooth 训练的，或者作者指定了特定的触发词。你需要在提示词中包含一个触发关键词才能激活 LoRA 的效果。具体触发词通常可以在模型下载页面的描述中找到。
类似于嵌入（Embeddings），你可以同时使用多个 LoRA 模型。你也可以将它们与 Embedding 一起混合使用。例如，可以同时加载一个风格 LoRA 和一个角色 LoRA。
在 AUTOMATIC1111 中，LoRA 短语不是提示词的一部分。在应用 LoRA 模型后，它会被解析并移除。这意味着你不能使用像 [keyword1:keyword2:0.8] 这样的嵌套语法来动态控制 LoRA 的权重，必须在提示词中明确写出每个 LoRA 及其权重。
在实际应用中，有一些类型的 LoRA 非常实用：
谁不想要 AI 图像中更多的细节？细节调整器允许你增加或减少图像中的细节程度。使用正 LoRA 权重来增加细节，使用负权重来减少细节，使画面更简洁。
某些 LoRA 可以给图片添加或减少色彩饱和度，帮助修正 AI 生成图像中常见的色彩灰暗问题。
类似的 LoRA 可以用来微调图片的整体亮度，无需后期处理即可达到理想的曝光效果。
虽然本文主要介绍使用，但了解如何训练 LoRA 对于高级用户至关重要。训练 LoRA 通常涉及以下步骤：
diffusers、transformers 等依赖库。.safetensors 格式，以便在 WebUI 中使用。--medvram 参数启动 WebUI。LoRA 模型是 Checkpoint 模型的小型修改器，通过低秩适应技术实现了高效微调。你可以通过在提示词中包含特定短语轻松地在 AUTOMATIC1111 中使用它们。相比于庞大的 Dreambooth 模型，LoRA 极大地降低了存储门槛，同时保留了高质量的生成能力。随着生态的发展，LoRA 已成为 AI 艺术创作和垂直领域模型部署的标准工具之一。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online