字节开源 Hyper-SD：Stable Diffusion 1 步高清加速模型详解

字节开源 Hyper-SD：Stable Diffusion 1 步高清加速模型详解 | 极客日志

字节开源 Hyper-SD：Stable Diffusion 1 步高清加速模型详解

Hyper-SD 是由字节跳动开源的 Stable Diffusion 模型加速方案。它基于先进的神经网络模型蒸馏技术，能够在极少的采样步骤（1、2、4、8 步）下生成高质量的大尺寸图片。该模型以 LoRA 形式发布，兼容 SDXL Base 1.0 和 Stable-Diffusion v1-5 等各类基础模型。

核心技术与原理

Hyper-SD 的核心在于其提出的新颖框架，协同整合了 ODE（常微分方程）轨迹保持和 ODE 轨迹重构的优势。扩散模型的训练过程本质上是添加噪声和去噪的过程，这一过程可以用 ODE 轨迹来描述。

关键技术点

轨迹分段一致性蒸馏：在预先定义的时间步长段内逐步进行一致性蒸馏，从更高层次上促进原始 ODE 轨迹的保留，确保新模型在低步数下仍能复现原模型的性能。
人类反馈学习融入：将人类反馈学习机制引入模型训练，以提升低步长条件下的生成质量，有效减轻蒸馏过程中可能产生的性能损失。
评分提炼技术：进一步提升模型在低步骤生成方面的能力，并首次尝试利用统一的 LoRA 支持所有步骤的推理过程，简化了部署流程。

相比传统的 SDXL-Lightning，Hyper-SDXL 在 1 步推理中表现更为出色。例如，在 CLIP 评分上比 SDXL-Lightning 高出 0.68，在 Aes 评分上高出 0.51，证明了其在极低步数下的图像质量优势。

环境准备与安装

Hyper-SD 主要应用于 ComfyUI 工作流中。安装过程相对简单，无需复杂的编译环境，只需在 ComfyUI 基础上增加特定的采样调度器并加载对应的模型文件即可。

前置要求

ComfyUI：建议更新至最新版本，以确保对最新自定义节点的支持。
PyTorch：确保 GPU 驱动正常，CUDA 版本与 PyTorch 匹配。
显存要求：
- SD1.5 模型：建议至少 4GB 显存。
- SDXL 模型：建议至少 8GB 显存，以保证高分辨率生成的流畅性。

安装步骤

下载模型文件：前往官方仓库或 HuggingFace 获取 Hyper-SD 的 LoRA 权重文件（Unified LoRA 和 CFG LoRA）。
放置模型：将下载的 .safetensors 文件放入 ComfyUI 目录下的 custom_nodes/ 或 models/loras/ 文件夹中。
更新自定义节点：通过 ComfyUI Manager 安装必要的依赖节点，特别是针对 TCD 采样调度器的支持。
重启服务：重启 ComfyUI 服务，确保新节点和模型被正确识别。

使用指南

Hyper-SD 的推理加速主要通过 LoRA 模型实现。官方发布了多种 LoRA 模型，其中最具代表性的是 Unified LoRA 和 CFG LoRA。

1. Unified LoRA（统一 LoRA）

Unified LoRA 的最大特点是'一模型多步'。用户只需加载一个 LoRA 模型，即可执行 1 至 8 步的推理。

特点：
- 最低 1 步推理即可保证基本图像质量。
- 随着推理步数增加，图像细节和元素丰富度显著提升。
- 适合需要快速迭代或实时生成的场景。
配置建议：
- 采样调度器：必须使用 TCD 采样调度器，这是搭配 Hyper-SD 统一 LoRA 的必备组件，其时间调度经过专门优化。
- CFG 引导值：设置为 1。由于统一 LoRA 的设计特性，过高的 CFG 值可能导致画面崩坏。
- 负向提示词：通常不需要填写，模型已内置较强的抗干扰能力。
- 分辨率：根据基础模型设定。SDXL 建议不低于 1024x1024，SD1.5 建议不低于 512x512。
应用场景：涂鸦实时生成、草图上色、快速原型设计等对速度要求极高的场景。

2. CFG LoRA

CFG LoRA 旨在提供更强的提示词引导能力，允许用户使用负向提示词并调整 CFG 系数。

特点：
- 支持更强的提示词控制。
- 官方训练模型支持 5-8 的 CFG 系数范围。
- 提供更高精度的 12 步模型选项，适合对画质有极致要求的场景。
配置建议：
- LoRA 选择：选择 Hyper-SD CFG LoRA，注意步数设置需与模型匹配（如 8 步模型需设置步数为 8）。
- 负向提示词：支持标准负向提示词，例如输入 black hair 可避免生成黑色毛发。
- 采样调度器：继续使用 TCD 采样调度器。
- CFG 设置：推荐设置在 5-8 之间，具体数值需根据实际提示词和模型效果微调。
- 分辨率：同样遵循基础模型的最小分辨率要求。

工作流配置详解

在 ComfyUI 中搭建 Hyper-SD 工作流时，需注意以下关键节点的连接逻辑：

KSampler 节点：
- steps：根据选择的 LoRA 类型设置（1-8 步）。
- cfg：Unified 设为 1，CFG 版设为 5-8。
- sampler_name：选择 TCD 或兼容的采样器。
- scheduler：必须选择 TCD Scheduler。
Load LoRA 节点：
- 确保路径指向正确的 Hyper-SD LoRA 文件。
- 强度（strength_model）通常保持默认 1.0。
VAE Decode 节点：
- 确保 VAE 与基础模型匹配，避免色彩异常。
Save Image 节点：
- 设置输出路径，建议开启文件名包含参数以便区分不同配置的结果。

常见问题与优化

1. 生成图像模糊或不完整

原因：步数过低且未配合合适的调度器。
解决：检查是否使用了 TCD 调度器；尝试将步数提升至 4 步；确保 CFG 值设置正确。

2. 显存不足报错

原因：SDXL 模型本身占用较大，高分辨率生成加剧负担。
解决：启用 --lowvram 启动参数；降低输出分辨率；关闭不必要的预览节点。

3. 风格不一致

原因：Prompt 过于复杂或 LoRA 强度过高。
解决：简化 Prompt；降低 LoRA 强度至 0.7-0.9；切换至 CFG LoRA 以获得更强控制力。

性能对比分析

指标	SDXL Lightning	Hyper-SD (1 Step)	Hyper-SD (8 Steps)
采样步数	4	1	8
CLIP Score	基准	+0.68	更高
Aes Score	基准	+0.51	更高
生成速度	快	极快	较快
细节丰富度	中	中	高

注：数据基于官方测试环境，实际表现受硬件及提示词影响。

总结

Hyper-SD 代表了当前 Stable Diffusion 加速领域的前沿水平。通过模型蒸馏和 ODE 轨迹优化，它在保持画质的同时大幅降低了推理成本。对于追求实时交互体验的开发者和创作者而言，Hyper-SD 是一个值得深入研究的工具。无论是用于快速原型验证还是最终内容生产，合理配置 Unified LoRA 或 CFG LoRA 都能带来显著的效率提升。

未来，随着 AIGC 技术的进一步发展，Hyper-SD 类的高效推理模型将在游戏开发、计算图形学等领域得到更广泛的应用，推动智能生成系统向更高效、更灵活的方向演进。

字节开源 Hyper-SD：Stable Diffusion 1 步高清加速模型详解