Stable Diffusion 陶瓷风艺术写真实战指南
一、前言
在人工智能生成内容（AIGC）领域，艺术风格的迁移一直是热门研究方向。继粘土风滤镜流行后，陶瓷风格因其独特的东方美学质感逐渐受到关注。陶瓷风格强调材质的温润感、半透明性与光泽度，能够赋予人物写真一种精致、梦幻的艺术效果。本文将深入探讨如何利用 Stable Diffusion 结合特定 LoRA 模型与 InstantID 插件，实现高质量的陶瓷风艺术写真生成。
二、技术原理与模型选择
1. 基础大模型（Checkpoint）
选择合适的底模是生成高质量陶瓷质感的关键。推荐使用支持 SDXL 架构的大模型，如 Actual Texture ZY SDXL V1.0。该模型在纹理细节与光影处理上表现优异，能够较好地保留头发、头饰等细节的陶瓷化效果，避免仅衣服呈现陶瓷质感而皮肤生硬的问题。相比其他通用模型，Actual Texture 系列在材质渲染上具有更强的适应性，特别是在处理玉石、琉璃等复杂材质时，能更好地模拟光线折射。
2. 风格 LoRA 模型
LoRA（Low-Rank Adaptation）用于微调模型的风格特征，通过注入额外的权重矩阵来改变生成图像的风格分布。本方案推荐以下两类 LoRA：
- 翠玉白菜 SDXL｜玉雕风格：侧重于玉石雕刻的质感，适合表现温润、通透的玉质效果。触发词通常包含 jade, jade sculpture。该模型对白色和绿色调的渲染尤为出色。
- 白棱 XL_琉璃少女：侧重于玻璃、琉璃与陶瓷的混合质感，强调色彩与透明度。触发词通常包含 coloured glaze, translucent。该模型适合制作色彩斑斓的琉璃风格人像。
3. 身份控制插件（InstantID）
InstantID 是一种基于 FaceID 的身份保持插件，能够在不牺牲图像质量的前提下，精准还原参考人物的面部特征。相比传统的 IP-Adapter，InstantID 在面部结构的一致性上表现更佳，适合制作个人写真。其核心原理是通过提取人脸的特征向量，并将其作为条件输入到 U-Net 中，从而在去噪过程中引导生成符合目标人脸特征的图像。
三、环境准备与安装
1. 硬件要求
- 显卡：建议 NVIDIA RTX 3060 及以上，显存不低于 8GB。SDXL 模型及 ControlNet 扩展对显存占用较高，建议 12GB 以上以获得更流畅的体验。
- 内存：建议 16GB 或更高。
- 存储：预留至少 50GB 空间用于存放模型文件。
2. 软件安装
确保已安装 Stable Diffusion WebUI (Automatic1111) 或 ComfyUI。若使用 WebUI，需通过扩展管理器安装 ControlNet 插件。下载 InstantID 相关模型文件并放入 extensions\sd-webui-controlnet\models 目录下。同时，确保 Python 环境版本兼容（建议 Python 3.10+）。
四、详细操作步骤
1. 提示词工程（Prompt Engineering）
提示词的编写直接影响生成结果。以下是针对陶瓷风的通用模板：
正向提示词示例：
masterpiece, best quality, (full body), jade sculpture, jade, realistic, 1 girl, hair ornament, close up shot, pure white skin, cinematic light, soft shadows, glossy texture, translucent material, detailed eyes, intricate details
反向提示词示例：
extra head, bad quality, ugly, extra limb, limb, bag fingers, grainy, low quality, (mutated hands and fingers:1.5), plastic, dull, matte, blurry, watermark, text, signature, deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime
2. ControlNet 配置
使用两个 ControlNet 单元以同时控制姿态与面部特征。
单元 0：面部嵌入（InstantID）
- 预处理器：instant_id_face_embedding
- 模型：ip-adpter_instanid_sdxl
- 控制权重：1.0
- 作用：上传真人照片，锁定面部特征。注意图片分辨率建议在 1024 左右，过大会增加计算负担。
单元 1：姿态控制（可选）
- 预处理器：instant_id_face_keypoints
- 模型：control_instant_id_sdxl
- 控制权重：0.45
- 作用：辅助定位脸部位置，防止变形。可上传任意一张照片，主要作用是提供关键点对齐。
3. 参数设置
- 采样器：Euler a（平衡速度与质量，适合探索性生成）
- 迭代步数：30-50 步（陶瓷纹理需要较多步数细化，过低会导致细节丢失）
- CFG Scale：3-5（较低引导系数有助于保持自然光影，过高会导致画面过饱和）
- 分辨率：1024x1024 或 888x1280（适配 SDXL 原生比例）
- 种子：固定种子可复现结果，随机种子可探索多样性。建议记录生成的 Seed 值以便后续调整。
五、常见问题与解决方案
1. 面部失真
若生成的图片面部与参考图差异过大，请检查 InstantID 的控制权重是否过高，或尝试调整预处理器为 instant_id_face_keypoints 以增加几何约束。此外，确保参考图清晰且无遮挡。
2. 材质过强
若陶瓷质感过于强烈导致像塑料，可降低 LoRA 权重至 0.5-0.7，或在提示词中加入 realistic, skin texture 等词汇平衡质感。也可以尝试更换底模，选择纹理更自然的模型。
3. 细节模糊
增加采样步数至 40 以上，并使用高清修复（Hires. Fix）功能，将放大倍数设为 1.5 倍，重绘幅度设为 0.3 左右。这有助于在保持整体构图的同时提升局部清晰度。
4. 颜色偏差
若生成的颜色与预期不符，可在提示词中强化颜色描述，如 jade green, blue clothes 等。同时检查 LoRA 的触发词是否正确加载。
六、进阶技巧
1. 光影调整
通过修改提示词中的 lighting 关键词（如 cinematic light, studio light, natural light）来改变陶瓷表面的反光效果。强光下陶瓷会呈现高光点，弱光下则更柔和。可以尝试添加 subsurface scattering 关键词来模拟次表面散射效果。
2. 服装搭配
陶瓷风格适合搭配简约或传统服饰。提示词中可加入 cheongsam, hanfu, strapless dress 等元素，增强整体艺术氛围。避免过于复杂的图案，以免干扰陶瓷质感的表达。
3. 后期合成
生成后可使用 Photoshop 进行局部调色，增强高光和阴影对比，使陶瓷质感更加立体。可以使用曲线工具调整对比度，或使用锐化工具增强边缘细节。
4. 批量生成
为了提高效率，可以编写脚本批量生成不同参数的图片。利用 API 接口调用 Stable Diffusion，设置不同的 Seed 和 Prompt 变体，快速筛选最佳结果。
七、总结
利用 Stable Diffusion 结合陶瓷风 LoRA 与 InstantID 插件，可以高效地生成具有东方美学特色的艺术写真。关键在于底模的选择、LoRA 权重的平衡以及 ControlNet 参数的精细调节。通过不断尝试不同的提示词组合与参数设置，用户可以找到最适合自己需求的生成方案。随着技术的进步，未来可能会有更多针对特定材质优化的模型发布，建议持续关注社区动态，及时更新模型库。
八、附录：常用术语表
- Checkpoint：基础大模型，决定图像的整体风格和画质。
- LoRA：低秩适应模型，用于微调特定风格或角色。
- ControlNet：控制网络插件，用于精确控制生成图像的构图、姿态等。
- CFG Scale：分类器自由引导尺度，控制提示词对生成结果的影响程度。
- Sampler：采样器，决定去噪过程的算法，影响生成速度和效果。
- Seed：随机种子，控制生成过程中的随机数，相同种子可复现结果。