Stable Diffusion 入门使用技巧及个人实例分享
Stable Diffusion 简介
Stable Diffusion 是由 Stability AI、CompVis 和 RunwayML 共同开发的一个文本转图像模型。它通过训练大量的图文对数据,将文本描述转换为图像。用户只需输入一段文本提示词(Prompt),Stable Diffusion 即可生成对应的图像;同样也可以置入图片或视频,配合文本进行重绘或处理。
通俗解释:
Stable Diffusion 是一种基于扩散过程的图像生成模型,可以生成高质量、高分辨率的图像。它通过模拟扩散过程,将噪声图像逐渐转化为目标图像。这种模型具有较强的稳定性和可控性,能够生成具有多样化效果和良好视觉效果的图像。
基础大模型推荐
1. 好看人物插画风
说明:
优点:画人物特别好看,细节丰富。
建议搭配参数:采样器 DPM++ 2M Karras,步数 20。
绘画示例:
-
人物角色设计:
提示词示例:((masterpiece)), ((highly detailed)), ((intricate)), ((high quality)) a little girl character, pop-art illustration style, simple, cute, 5 years old girl, full color, blue dress, blue shoes, long brown hair, blue hat, no outline, 3d
-
4 格漫画制作:
基于上述人物风格,可尝试固定种子(Seed)生成系列图。
-
背景 + 不同的人物:
提示词示例:((masterpiece)), ((highly detailed)), ((HD Quality)), ((exquisite face)) background: The background is a construction site, with skyscrapers under construction, feeling in 1990s shenzhen. character: There is only one 20-year-old smile asian female agent, must appear item: balloon
小技巧:VAE 设置
部分模型生成的图片颜色可能偏灰蒙蒙,解决方法是下载并启用 VAE(Variational Autoencoder)。
- 使用方法:在设置中找到 VAE 选项,勾选自动或指定路径下的 VAE 文件。
- 效果对比:开启 VAE 后,色彩饱和度与通透感显著提升。
2. 二次元风格
该模型适合生成动漫风格插画。
绘画示例:
-
角色设计:
提示词示例:((masterpiece)), ((highly detailed)), ((intricate)), ((high quality)) a little girl character, pop-art illustration style, simple, cute, 5 years old standing girl, full color, red dress, red shoes, long brown hair, red hat, no outline, 3d
-
故事插画:
提示词示例:((masterpiece)), ((highly detailed)), ((intricate)), Best quality, anime, Draw a little girl walking in the park, wearing a beautiful red dress, she showed a surprised expression, suddenly only a cute white kitten in the grass.
3. 超真实风格
默认真实风格,搭配 LoRA 效果更佳。
建议搭配参数:DPM++ SDE Karras + 步数 20。
绘画示例:
- 场景 + 人物:
提示词:
((masterpiece)), ((highly detailed)), ((HD Quality)), ((exquisite face)) background: The background is a construction site, ((skyscrapers under construction)), feeling in 1990s shenzhen china. character: There is only one asian female agent, clear face, 20-year-old, smile, must appear item: (an ice cream cone)
- LoRA 增强: 加入面部质量 LoRA 后,表情质感会有明显提升。
4. 动画风格
优点:搭配泡泡玛特类 LoRA 效果非常棒。
建议搭配参数:采样器 Euler a + 步数 28。
绘画示例:
提示词:(masterpiece), (best quality), (ultra-detailed), (full body:1.2), wide angle, 1girl, cute, smile, open mouth, flower, outdoors, running on the grass, blurry, brown hair, blush stickers, long sleeves, bangs, black hair, pink flower, (beautiful detailed face), (beautiful detailed eyes), music, beret, blush, short hair, surrounded by balloons, blue sky and white clouds
5. 悬疑/风景/插画
适合用于小说封面、简笔画及插画创作。
建议搭配参数:采样器 DPM++ 2M Karras + 步数 20。
绘画示例:
- 玄幻/悬疑封面:
提示词:
gray sky, white clouds, fantasy style, fantasy, mountains, castle, canyons, magic, 4k
- 简笔头像:
提示词:
(races of monotony Line drawing), (flat illustration), minimalism, headshot, line art. A cute cartoon girl with short hair, stick figure, headshot, bold line illustration
6. 国风
建议搭配参数:采样器 Euler a + 步数 30。
绘画示例:
- 官方提示词直出:
best quality, masterpiece, highres, 1girl, blush, (seductive smile:0.8), star-shaped pupils, china hanfu, hair ornament, necklace, jewelry, Beautiful face, upon_body, tyndall effect, photorealistic, dark studio, rim lighting, two tone lighting, (high detailed skin:1.2), 8k uhd, dslr, soft lighting, high quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k, Bokeh
- LoRA 优化: 使用特定国风 LoRA 可进一步提升服饰与发型的还原度。
LoRA 简介及推荐
LoRA 全称是 Low-Rank Adaptation of Large Language Models,通俗理解是 Stable Diffusion 中的插件。仅需少量数据即可训练,生成图片时与大模型结合使用,实现对输出结果的微调。
推荐 LoRA 列表
- 适合插画/二次元 adventures: 配合 Deliberate 大模型效果不错。
- 表情 LoRA (crazy-expressions): 二次元风格,正脸概率较大。
- 墨心: 水墨风格,配合 Deliberate 可用。
- 小人书·连环画 xiaorenshu: 复古绘本风格。
- 二次元漫画风 [LoCon/LoRA] Airconditioner/空调 Style: 独特线条风格。
- 城市景色: 增强建筑与街道细节。
- 线条: 强化线稿效果。
- 科幻: 适合科幻题材,人物也可叠加。
- 室内设计: 专业室内渲染风格。
- 亚洲男生: 适合 SD1.5 基础大模型。
- 角色设计多角度: 适合 charTurnbeta 等角色一致性工具。
效果对比示例
为了对比效果,先使用基础大模型 Deliberate 生成一个人物角色,然后搭配不同的 LoRA 查看效果差异。
基础提示词:
((masterpiece)), ((highly detailed)), ((HD Quality)), ((best quality)) A young lovely girl, full body shot, clear face, dressed in a beautiful traditional Hanfu. Her hair is neatly coiled into a bun, adorned with bobby pins and an elaborate tiara.
搭配不同 LoRA 后的变化:
通过调整 LoRA 权重(通常 0.6-0.8),可以在保持主体特征的同时改变画风或增加特定元素。
进阶参数配置指南
为了获得更稳定的生成结果,建议关注以下核心参数:
- 采样器 (Sampler):
DPM++ 2M Karras:通用性强,平衡速度与质量。
Euler a:适合创意发散,多样性高。
DDIM:速度快,但细节可能略逊。
- 步数 (Steps):
- 一般设置在 20-30 步之间。过低导致画面未完成,过高可能导致过拟合或细节崩坏。
- CFG Scale (提示词相关性):
- 建议范围 7-9。数值越高越贴近提示词,但过高会导致画面色彩过饱和或失真。
- 分辨率 (Resolution):
- SD1.5 默认 512x512,SDXL 默认 1024x1024。低分辨率下可使用 Hires. fix 放大。
常见问题排查
- 画面模糊: 检查是否启用了 VAE,或尝试提高 CFG Scale。
- 手部畸形: 这是扩散模型的通病,可通过 ControlNet 的 OpenPose 或 Inpainting 修复。
- 文字乱码: 目前 SD 生成文字能力较弱,建议后期 PS 添加文字。
- 显存不足: 降低分辨率,或使用
--medvram 启动参数。
结语
Stable Diffusion 是一个功能强大的开源项目,掌握大模型选择与 LoRA 搭配技巧能极大提升创作效率。建议初学者从基础参数调优入手,逐步探索 ControlNet 等高级功能。