跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客我的书AI学习GitHub 精选镜像AI 生图工具UI配色美学关于
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

Stable Diffusion 常用模型详解:Checkpoint、LoRA 与 ControlNet 等

Stable Diffusion 包含多种模型用于不同场景。Checkpoint 是主模型,决定画风;LoRA 和 LyCORIS 用于微调风格和角色;Textual Inversion 简化提示词;Hypernetworks 调整网络权重;ControlNet 控制画面结构和姿势;VAE 修正色彩亮度;CodeFormer 修复人脸。各模型后缀、大小及存放目录不同,需正确配置 WebUI 以发挥最佳效果。结合使用这些模型可实现更精准的图像生成与控制。

www发布于 2025/2/6更新于 2026/9/1265 浏览
Stable Diffusion 常用模型详解:Checkpoint、LoRA 与 ControlNet 等

在 Stable Diffusion 中,模型是核心组件,决定了生成图像的风格、质量和控制能力。新手常因各种模型后缀和用途感到困惑,以下是对常见模型的详细分类与说明。

safetensors 格式

在使用模型前,需了解 safetensors 格式。这是由 Hugging Face 研发的一种开源模型存储格式,目前被广泛采用。

相比旧有的 .ckpt 或 .bin 格式,safetensors 具有以下优势:

  • 安全性高:防止反序列化攻击(如 DOS 攻击)
  • 加载迅速:无需加载整个文件即可读取元数据
  • 支持懒加载:按需加载权重,节省内存
  • 通用性强:兼容多种 AI 模型架构

因此,现代开源模型大多提供 safetensors 版本,后缀通常为 .safetensors。

主模型:Checkpoint

Checkpoint 是 Stable Diffusion 中最核心的模型,也称为 Checkpoint Model 或 Main Model。它包含了 UNet、Text Encoder 和 VAE 的大部分参数,决定了图像的基础风格。

  • 后缀:.ckpt 或 .safetensors
  • 体积:通常在 2GB - 7GB 之间
  • 存放目录:WebUI 的 models/Stable-diffusion 文件夹
  • 使用方式:在 WebUI 左上角切换

所有的主模型均基于 Stable Diffusion 架构训练而来,选择不同的大模型会直接改变画面的整体质感。

微调模型:LoRA 和 LyCORIS

LoRA (Low-Rank Adaptation) 和 LyCORIS 属于微调模型,用于在主模型基础上进行特定风格的调整。

  • 作用:控制画风、角色外观、姿势、服装细节等
  • 后缀:.safetensors
  • 体积:较小,一般在 4MB - 300MB 之间
  • 存放目录:WebUI 的 models/LoRA 文件夹
  • 使用方式:可通过 WebUI 左侧菜单激活,或在 Prompt 中使用 <lora:文件名:权重> 调用

LyCORIS 是 LoRA 的扩展,调节范围更大,但通常需要额外插件支持。

文本编码器:Textual Inversion

Textual Inversion 通过修改文本嵌入向量来引入新概念。

  • 作用:简化 Prompt,将复杂描述浓缩为单个关键词
  • 后缀:.pt 或 .safetensors
  • 体积:极小,通常仅几 KB
  • 存放目录:WebUI 的 embeddings 文件夹
  • 使用方式:可在 Textual Inversion 菜单选择,或直接在 Prompt 中输入对应词汇

风格网络:Hypernetworks

Hypernetworks 是一种较早期的微调技术,通过调整神经网络权重来改变风格。

  • 作用:风格微调,色彩倾向调整
  • 后缀:.pt 或 .safetensors
  • 体积:20MB - 200MB 之间
  • 存放目录:WebUI 的 models/hypernetworks 文件夹
  • 使用方式:在 WebUI 设置中启用 Hypernetworks 选项

控制网络:ControlNet

ControlNet 是目前最强大的控制工具之一,允许用户精确控制生成的构图、姿态和边缘。

  • 作用:画面结构控制、动作控制、深度图控制、色彩映射等
  • 后缀:.safetensors
  • 存放目录:WebUI 的 models/ControlNet 文件夹
  • 安装要求:需安装 ControlNet 扩展插件
  • 使用方式:在 txt2img 或 img2img 界面启用 ControlNet 单元,上传参考图并选择预处理器

变分自编码:VAE

VAE (Variational Autoencoder) 负责将潜在空间解码为像素图像。

  • 作用:修正图片亮度、饱和度,解决画面发灰问题
  • 后缀:.pt 或 .safetensors
  • 体积:常见为 335MB 或 823MB
  • 存放目录:WebUI 的 models/VAE 文件夹
  • 使用方式:在 Settings 页面的 SD VAE 选项中切换,或配置 Quicksettings list 以便快速访问

修复模型:CodeFormer

CodeFormer 专注于人脸修复和超分辨率处理。

  • 作用:提高图片分辨率、黑白照片上色、人脸细节修复
  • 存放目录:WebUI 的 models/codeformer 文件夹
  • 使用方式:默认集成于 WebUI,可在 Extras 菜单中找到

模型对比一览表

模型名称主要作用后缀名大小范围WebUI 目录
Checkpoint主模型,决定基础风格.ckpt / .safetensors2G - 7Gmodels/Stable-diffusion
LoRA / LyCORIS微调风格、角色、姿势.safetensors4M - 300Mmodels/LoRA
Textual Inversion文本向量优化.pt / .safetensorsKB 级别embeddings
Hypernetworks网络权重风格微调.pt / .safetensors20M - 200Mmodels/hypernetworks
ControlNet画面结构与动作控制.safetensors视具体模型而定models/ControlNet
VAE色彩与亮度校正.pt / .safetensors335M / 823Mmodels/VAE
CodeFormer人脸修复与超分--models/codeformer

使用建议

  1. 组合策略:通常先选择一个合适的 Checkpoint 作为基底,再叠加 LoRA 细化特征,最后通过 ControlNet 固定构图。
  2. 资源管理:由于 Checkpoint 体积较大,建议根据需求定期清理不用的模型以节省磁盘空间。
  3. 版本兼容:注意模型版本与 WebUI 版本的兼容性,部分新模型可能需要更新后的插件支持。
  4. 调试技巧:若画面出现异常,可尝试更换 VAE 或检查 LoRA 权重是否过高导致过拟合。

以上涵盖了 Stable Diffusion 中最常用的几种模型类型。掌握它们的特性与配合方式,能显著提升出图效率与质量。

目录

  1. safetensors 格式
  2. 主模型:Checkpoint
  3. 微调模型:LoRA 和 LyCORIS
  4. 文本编码器:Textual Inversion
  5. 风格网络:Hypernetworks
  6. 控制网络:ControlNet
  7. 变分自编码:VAE
  8. 修复模型:CodeFormer
  9. 模型对比一览表
  10. 使用建议

更多推荐文章

查看全部
  • MySQL 约束详解:非空、主键与外键的核心作用
  • 从零搭建 Jenkins + Docker + Gitee 自动化部署流水线
  • WebView 并发初始化竞争风险分析
  • 基于 SpringBoot 和 Vue 的实验室管理系统设计与实现
  • Vue 项目打包与部署指南
  • AI 大模型产品经理转行指南:核心能力与实战路径
  • SGBM 半全局块匹配算法流程详解
  • ToDesk ToClaw 数字助理评测:从聊天工具到任务执行
  • ComfyUI 节点式工作流实战:从原理到商业落地
  • OpenClaw 多飞书机器人与多 Agent 团队实战复盘
  • Java 中 Integer 对象比较陷阱解析
  • Trae IDE 深度指南:模型管理与实战技巧
  • AI 算法基础入门:AI 产品经理核心知识指南
  • 主流大模型横评:GPT、Claude、Gemini、Llama 及国产模型选型指南
  • 本地项目上传 Gitee 完整指南:新手避坑版
  • C++ 继承进阶:友元、静态成员与菱形继承底层逻辑
  • 算法:前缀和原理
  • Heygem 数字人系统 Linux 环境依赖安装步骤
  • MWC 2026 IQ 时代与 DeepSeek V4 多模态技术解析
  • Qwen2.5-7B-Instruct 模型本地运行与 Ollama 实践

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online