跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像AI 生图工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

Stable Diffusion 常用模型详解:Checkpoint、LoRA 与 ControlNet 等

Stable Diffusion 包含多种模型用于不同场景。Checkpoint 是主模型,决定画风;LoRA 和 LyCORIS 用于微调风格和角色;Textual Inversion 简化提示词;Hypernetworks 调整网络权重;ControlNet 控制画面结构和姿势;VAE 修正色彩亮度;CodeFormer 修复人脸。各模型后缀、大小及存放目录不同,需正确配置 WebUI 以发挥最佳效果。结合使用这些模型可实现更精准的图像生成与控制。

www发布于 2025/2/6更新于 2026/7/2843 浏览
Stable Diffusion 常用模型详解:Checkpoint、LoRA 与 ControlNet 等

在 Stable Diffusion 中,模型是核心组件,决定了生成图像的风格、质量和控制能力。新手常因各种模型后缀和用途感到困惑,以下是对常见模型的详细分类与说明。

safetensors 格式

在使用模型前,需了解 safetensors 格式。这是由 Hugging Face 研发的一种开源模型存储格式,目前被广泛采用。

相比旧有的 .ckpt 或 .bin 格式,safetensors 具有以下优势:

  • 安全性高:防止反序列化攻击(如 DOS 攻击)
  • 加载迅速:无需加载整个文件即可读取元数据
  • 支持懒加载:按需加载权重,节省内存
  • 通用性强:兼容多种 AI 模型架构

因此,现代开源模型大多提供 safetensors 版本,后缀通常为 .safetensors。

主模型:Checkpoint

Checkpoint 是 Stable Diffusion 中最核心的模型,也称为 Checkpoint Model 或 Main Model。它包含了 UNet、Text Encoder 和 VAE 的大部分参数,决定了图像的基础风格。

  • 后缀:.ckpt 或 .safetensors
  • 体积:通常在 2GB - 7GB 之间
  • 存放目录:WebUI 的 models/Stable-diffusion 文件夹
  • 使用方式:在 WebUI 左上角切换

所有的主模型均基于 Stable Diffusion 架构训练而来,选择不同的大模型会直接改变画面的整体质感。

微调模型:LoRA 和 LyCORIS

LoRA (Low-Rank Adaptation) 和 LyCORIS 属于微调模型,用于在主模型基础上进行特定风格的调整。

  • 作用:控制画风、角色外观、姿势、服装细节等
  • 后缀:.safetensors
  • 体积:较小,一般在 4MB - 300MB 之间
  • 存放目录:WebUI 的 models/LoRA 文件夹
  • 使用方式:可通过 WebUI 左侧菜单激活,或在 Prompt 中使用 <lora:文件名:权重> 调用

LyCORIS 是 LoRA 的扩展,调节范围更大,但通常需要额外插件支持。

文本编码器:Textual Inversion

Textual Inversion 通过修改文本嵌入向量来引入新概念。

  • 作用:简化 Prompt,将复杂描述浓缩为单个关键词
  • 后缀:.pt 或 .safetensors
  • 体积:极小,通常仅几 KB
  • 存放目录:WebUI 的 embeddings 文件夹
  • 使用方式:可在 Textual Inversion 菜单选择,或直接在 Prompt 中输入对应词汇

风格网络:Hypernetworks

Hypernetworks 是一种较早期的微调技术,通过调整神经网络权重来改变风格。

  • 作用:风格微调,色彩倾向调整
  • 后缀:.pt 或 .safetensors
  • 体积:20MB - 200MB 之间
  • 存放目录:WebUI 的 models/hypernetworks 文件夹
  • 使用方式:在 WebUI 设置中启用 Hypernetworks 选项

控制网络:ControlNet

ControlNet 是目前最强大的控制工具之一,允许用户精确控制生成的构图、姿态和边缘。

  • 作用:画面结构控制、动作控制、深度图控制、色彩映射等
  • 后缀:.safetensors
  • 存放目录:WebUI 的 models/ControlNet 文件夹
  • 安装要求:需安装 ControlNet 扩展插件
  • 使用方式:在 txt2img 或 img2img 界面启用 ControlNet 单元,上传参考图并选择预处理器

变分自编码:VAE

VAE (Variational Autoencoder) 负责将潜在空间解码为像素图像。

  • 作用:修正图片亮度、饱和度,解决画面发灰问题
  • 后缀:.pt 或 .safetensors
  • 体积:常见为 335MB 或 823MB
  • 存放目录:WebUI 的 models/VAE 文件夹
  • 使用方式:在 Settings 页面的 SD VAE 选项中切换,或配置 Quicksettings list 以便快速访问

修复模型:CodeFormer

CodeFormer 专注于人脸修复和超分辨率处理。

  • 作用:提高图片分辨率、黑白照片上色、人脸细节修复
  • 存放目录:WebUI 的 models/codeformer 文件夹
  • 使用方式:默认集成于 WebUI,可在 Extras 菜单中找到

模型对比一览表

模型名称主要作用后缀名大小范围WebUI 目录
Checkpoint主模型,决定基础风格.ckpt / .safetensors2G - 7Gmodels/Stable-diffusion
LoRA / LyCORIS微调风格、角色、姿势.safetensors4M - 300Mmodels/LoRA
Textual Inversion文本向量优化.pt / .safetensorsKB 级别embeddings
Hypernetworks网络权重风格微调.pt / .safetensors20M - 200Mmodels/hypernetworks
ControlNet画面结构与动作控制.safetensors视具体模型而定models/ControlNet
VAE色彩与亮度校正.pt / .safetensors335M / 823Mmodels/VAE
CodeFormer人脸修复与超分--models/codeformer

使用建议

  1. 组合策略:通常先选择一个合适的 Checkpoint 作为基底,再叠加 LoRA 细化特征,最后通过 ControlNet 固定构图。
  2. 资源管理:由于 Checkpoint 体积较大,建议根据需求定期清理不用的模型以节省磁盘空间。
  3. 版本兼容:注意模型版本与 WebUI 版本的兼容性,部分新模型可能需要更新后的插件支持。
  4. 调试技巧:若画面出现异常,可尝试更换 VAE 或检查 LoRA 权重是否过高导致过拟合。

以上涵盖了 Stable Diffusion 中最常用的几种模型类型。掌握它们的特性与配合方式,能显著提升出图效率与质量。

目录

  1. safetensors 格式
  2. 主模型:Checkpoint
  3. 微调模型:LoRA 和 LyCORIS
  4. 文本编码器:Textual Inversion
  5. 风格网络:Hypernetworks
  6. 控制网络:ControlNet
  7. 变分自编码:VAE
  8. 修复模型:CodeFormer
  9. 模型对比一览表
  10. 使用建议
  • 免费图片AI生成工具免费生成了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 免费图片视频在线生成30秒,将你的创意变成现实开始设计
  • X/Twitter免费视频下载器免登陆无限额度免费视频解析下载了解详情
  • 100+免费在线小游戏爽一把
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • SkyWalking 集成 Spring Cloud Alibaba 全链路追踪实战
  • Nginx 四层代理基于 SNI 实现域名分流 ngx_stream_ssl_preread_module 使用
  • 8 个适合 Python 开发的接单平台及兼职建议
  • 使用 llama.cpp 部署本地大模型遇到的常见问题及解决方案
  • 2026 年 Gemini 学生计划实战指南:将免费 Pro 权限转化为 AI 求职优势
  • HTML input type 属性全解析与实战避坑指南
  • Web 端 3D 开发的实用技术栈梳理
  • 无人机 RGB+ 红外双模态小目标行人检测系统构建与数据集介绍
  • 携程发布旅游行业首个垂直大模型“携程问道”实测分析
  • Python 逆向:PyInstaller 反编译实战指南
  • Java Map 常用方法与实现类深度解析
  • ComfyUI 是什么:可视化节点式 AI 绘画工具解析
  • AI 大模型学习路线:从基础到实战的完整指南
  • 建筑设计 AI 绘画提示词:从入门到精通的实战指南
  • Windows 环境下使用 Docker 部署 Java 开发中间件指南
  • 基于 Coze 的 AI 应用开发:从智能体到 Web 部署
  • Java JDK 安装与环境配置实战指南
  • AI 编程的本质:模式匹配与人类理解的边界
  • VR 大空间在文旅产业的创新应用
  • PyCharm 创建 Python 虚拟环境

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online