Stable Diffusion IP 海报生成流程与 LoRA 训练指南

3.2 训练环境搭建

• 本地：下载秋葉 SD trainer 训练器一键包。
• 云端：AutoDL 云端配置，社区镜像中找到 Train 进行部署。

3.3 训练集处理

图片处理

• 尺寸需统一且为 64 的倍数（常用 512512、512768、768*1152），避免 AI 裁切细节。
• 准备三种类型图片：白底 IP 图、场景 IP 结合图、单独场景图。
• 数量越多越好，但需保证差异性，剔除重复动作或角度。

打标

• 使用自动打标工具或手动打标（推荐手动）。准备 txt 文本，确保与图片命名一一对应。
• 格式要求：'触发词'+'自然语言'+'单词'，全程英文输入（含标点）。

3.4 模型训练与参数设置

核心概念

• 过拟合：AI 仅生成训练集内容，缺乏泛化能力。
• 欠拟合：AI 生成内容与训练集关联弱，收敛性差。

基础训练参数

• repeat 次数：每张图训练次数，过高导致过拟合，过低导致欠拟合。
• epoch 训练轮数：训练集轮数，需平衡过拟合与欠拟合。
• dim 值：代表训练精度。
• alpha 值：控制模型复杂性和约束性，必须 ≤ dim。
• 学习率：包括 learning rate、unet lr、text encoder lr，影响稳定性、泛化性和收敛性。
• 优化器：决定 AI 学习节奏。

观察指标

• 观察 Loss 值，需呈递减状态，曲线波动不宜过大。
• 记录每次训练的参数和 Loss 值以分析调优方向。

3.5 模型测试

• 启动 SD，运用 XYZ 轴测试不同版本模型搭配的 LoRA 权重及大模型。
• 测试核心点：稳定性、泛化性、收敛性。
  • 稳定性：大多数 prompt 下均有效果。
  • 泛化性：生成的内容有 AI 创新（动作、场景等）。
  • 收敛性：生成的 IP 特征符合预期。

4、运用 SD 稳定生成高质量 IP 海报

4.1 模型与提示词

• 模型：底模、LoRA 模型、VAE（滤镜）。可尝试二次元（anything）、写实（Rev、real）等不同底模。
• 提示词：正向词（想要的内容）+ 负向词（不想要的内容）。
• 权重：触发词 + 提示词 + LoRA，越靠前权重越高。

4.2 采样方式

常用采样器如 Euler a、DDIM、DPM++ 系列，根据模型调整最佳参数。

4.3 采样迭代步数

• Steps 控制去噪步骤数量。默认 20 步通常足够。
• 快速构图可用 15-20 steps，确认 seed 后可增至 20-30 steps。

4.4 面部修复

改善脸部特写及细节，建议找到确认的 seed 后开启。

4.5 高清修复

• 先在低分辨率渲染，再提升至高分辨率添加细节。
• 常用算法：R-ESRGAN 4x++。

4.6 重绘幅度

理解 AI 创作发散幅度。值越高创意越大，值越精准。

4.7 随机种子

Seed 是生成图的 ID。锁定种子可完成微调。

4.8 尺寸与批次

• 尺寸：以 64 的倍数递增，前期常用 512768、512512。
• 批次：前期找画面可开大数量抽卡，找到后锁定 seed。

完成上述流程后，即可不断生成和创新 IP 海报，记得保存参数模版。