Z-Image Turbo LoRA 微调实战指南：基于 ai-toolkit 的训练流程

本文使用开源训练器 ai-toolkit 打包。你也可以使用其他训练器（如 LoRA Trainer、DreamBooth-variant 等），但 UI 步骤类似。

安装教程参考官方文档或社区资源，确保 Python 环境和依赖库正确配置。

5. 上传训练集到训练器并创建数据集

![数据集上传界面]

在训练器 UI：

1. 点击 '训练集' -> New Data Set -> 输入名称（示例：furilian_dataset）。
2. 拖入 images/ 和 txts/（或已将 txt 命名为和图片一致的方式）。
3. 确认图片与 txt 一一对应，UI 通常会显示文件对齐结果。

出现问题时：

• 若提示词和图片未匹配，说明文件名或格式不一致，按命名规范调整后重试。

6. 训练器参数设置（关键参数详解）

![参数配置界面]

在新建任务界面（Training Name、Model Architecture 等）：

关键字段与推荐值（针对 z-image-turbo）：

• Model architecture：选择 z-image-turbo training adapter（或界面中 damage turbo training adapter）
• Base model path：保持默认（或指定本地底模）
• Low VRAM：如果显存 12–16GB，开启；显存 ≥24GB 可关闭获得更快训练
• Save every：建议 250（每 250 步保存并生成一次测试样本）
• Training steps：默认 3000，若时间有限可用 2500（示范用 2500）
• Batch size / Gradient accumulation：根据显存设置，UI 会自动推荐
• Learning rate：常见范围 1e-4 ~ 5e-4，可用 2e-4 作为起点
• Precision：fp16 或 bf16（若硬件支持）
• Target dataset：选择已上传的 furilian_dataset
• 其他：保持默认或按界面提示

7. 测试提示词编写与每 250 步测试策略

测试提示词（Prompt） 用来每 save every（本文 250 步）生成样例，检验模型拟合情况。

如何生成测试提示词：

1. 回到大语言模型，指令示例： 请为 Furilian 角色生成 10 条用于模型验证的测试提示词，包含不同姿态、表情、背景与场景。每条不超过 30 个词。
2. 将生成的 10 条复制，粘贴到训练器的 Validation prompts 区域。

示例测试 prompt（10 条）：

Furilian, three-quarter view, looking at camera, soft smile, blue-white robe, forest background
Furilian, full-body action pose, leaping, flowing hair, dynamic lighting
Furilian, close up portrait, blue-green eyes, intricate ear jewelry, soft rim light
...

每 250 步查看 sample 图像，判断模型的角色稳定性、服装细节、光影、是否出现畸形、泛化能力。

8. 启动训练与监控（包含中断/恢复）

启动：

• 点击 Create Task -> 点击训练队列中的三角形（开始）。

监控要点：

• 观察 loss 曲线、生成样本（每 250 步），检查是否过拟合或欠拟合。
• 若样本在早期就很崩坏：可能 LR 太高或 batch 设置不当，适当降低 learning rate 或开启更强正则。
• 若模型太拟合（早期样本极其集中复制训练集样式）：可加入更多负样本、增加数据多样性、或降低训练步数。

中断/恢复：

• UI 一般支持暂停/恢复。训练器会在 save every 步保存 checkpoint，恢复时选择最新 checkpoint 即可。

9. 导出 LoRA 并在 Z-Image 工作流测试

训练完成后：

1. 在训练器右侧或模型列表中找到 outputs 或 models 文件夹，下载最后生成的 LoRA 文件（通常为 .safetensors 或 .pt 带权重格式，训练器会给出标准化文件名）。
2. 将文件放入 Z-Image 的 configs/models/loras/（或 CONFI 根目录 models/loras/）文件夹。

Z-Image 中调用示例 Prompt：

<lora:furilian:0.8> Furilian, portrait, soft cinematic lighting, high detail 

• 在 Z-Image 中跑图，观察多张场景下的稳定性。好的 LoRA 应能在不同 prompt 与背景下保持角色关键特征（白发、耳朵、眼色、服装元素）。

10. 常见问题与优化建议

问题：训练后人物崩坏 / 畸形

• 可能原因：训练步数过多、learning rate 太高、训练集不足或多样性不足。
• 解决：减少步数、降低 LR、加入更多正面/侧面样本；增加正负面提示词。

问题：角色识别模糊或泛化差

• 可能原因：训练集风格不统一或标签不够明确。
• 解决：统一风格（尽量同一画风、光线），细化 prompt（角色专有描述优先）。

提升技巧：

• 若显存紧张，使用 low_vram、降低 batch 或使用 gradient accumulation。
• 使用多组测试 prompt，覆盖动作、表情、全身近景等，检验泛化。
• 在训练中期（如 1000、1500、2500 步）导出样本观察微调方向，再决定是否继续训练或微调超参。

总结

到这里，整套从素材准备、标注、训练器部署、参数调优到导出并在 Z-Image 中跑图的流程都讲完了。重点回顾如下：

• 单角色 LoRA：15–30 张高质量、角度分布均匀的图片 + 精确的文本标签，效果优秀且训练成本低。
• 使用大语言模型自动标注能极大提高效率，但一定要校对命名与一致性。
• 每 250 步保存并生成样本，便于判断训练走向并灵活中止或调整。
• 显存有限时开启 low_vram，适当降低 batch/使用 gradient accumulation。
• 最后的 LoRA 在 Z-Image 中验证，观察角色一致性、细节保持、泛化情况。