介绍如何在低显存设备上部署 Flux 图像生成模型。通过安装 DiffSynth、Gradio 等依赖，使用预置镜像和 float8 量化技术降低显存占用。步骤包括环境检查、依赖安装、脚本编写及服务启动。支持本地访问及 SSH 隧道远程访问。提供种子、步数调节技巧及显存优化配置，解决 CUDA out of memory 等常见问题，实现本地 AI 绘图。
在 AI 绘画领域，Flux 模型效果出色，但往往对显存要求较高。许多用户面临以下问题：
本方案提供一套开箱即用的本地 Web 服务，基于 DiffSynth 引擎和 Gradio 界面。通过 float8 量化技术降低 DiT 主干网络显存占用，支持在旧笔记本、远程服务器或 RTX 3060 等中低端设备上运行。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
确保满足以下条件：
nvidia-smi 可显示）；打开终端执行以下命令：
pip install diffsynth -U gradio modelscope torch
提示：若使用 conda 环境，请先激活环境。如遇权限问题，可添加
--user参数。
核心依赖说明：
diffsynth：底层推理引擎，专为 Diffusion Transformer 优化；gradio：构建网页交互界面；modelscope：模型管理能力；torch：基础深度学习框架。新建文件 web_app.py，写入以下代码：
import torch
import gradio as gr
from modelscope import snapshot_download
from diffsynth import ModelManager, FluxImagePipeline
def init_models():
# 模型已预置，此步骤校验路径
snapshot_download(model_id="MAILAND/majicflus_v1", allow_file_pattern="majicflus_v134.safetensors", cache_dir="models")
snapshot_download(model_id="black-forest-labs/FLUX.1-dev", allow_file_pattern=["ae.safetensors", "text_encoder/model.safetensors", "text_encoder_2/*"], cache_dir="models")
model_manager = ModelManager(torch_dtype=torch.bfloat16)
# 关键：以 float8 精度加载 DiT 主干，大幅降低显存压力
model_manager.load_models(
["models/MAILAND/majicflus_v1/majicflus_v134.safetensors"],
torch_dtype=torch.float8_e4m3fn,
device="cpu"
)
# 文本编码器与 VAE 保持 bfloat16 精度
model_manager.load_models(
[
"models/black-forest-labs/FLUX.1-dev/text_encoder/model.safetensors",
"models/black-forest-labs/FLUX.1-dev/text_encoder_2",
"models/black-forest-labs/FLUX.1-dev/ae.safetensors",
],
torch_dtype=torch.bfloat16,
device="cpu"
)
pipe = FluxImagePipeline.from_model_manager(model_manager, device="cuda")
pipe.enable_cpu_offload() # 启用 CPU 卸载
pipe.dit.quantize() # 动态激活量化
return pipe
pipe = init_models()
def generate_fn(prompt, seed, steps):
if seed == -1:
import random
seed = random.randint(0, 99999999)
image = pipe(prompt=prompt, seed=seed, num_inference_steps=int(steps))
return image
with gr.Blocks(title="Flux WebUI") as demo:
gr.Markdown("# Flux 离线图像生成控制台")
with gr.Row():
with gr.Column(scale=1):
prompt_input = gr.Textbox(label="提示词 (Prompt)", placeholder="输入描述词，例如：水墨风格山水画...", lines=5)
with gr.Row():
seed_input = gr.Number(label="随机种子 (Seed)", value=0, precision=0)
steps_input = gr.Slider(label="步数 (Steps)", minimum=1, maximum=50, value=20, step=1)
btn = gr.Button("开始生成图像", variant="primary")
with gr.Column(scale=1):
output_image = gr.Image(label="生成结果")
btn.click(fn=generate_fn, inputs=[prompt_input, seed_input, steps_input], outputs=output_image)
if __name__ == "__main__":
demo.launch(server_name="0.0.0.0", server_port=6006)
保存后执行：
python web_app.py
启动成功后访问 http://127.0.0.1:6006。
直接在浏览器打开 http://127.0.0.1:6006。界面简洁，无广告登录，数据本地运算。
若部署在远程服务器，需建立 SSH 隧道映射端口：
ssh -L 6006:127.0.0.1:6006 -p 22 root@your-server-ip
替换 -p 为实际端口，root@your-server-ip 为实际账号 IP。保持终端开启，本地浏览器访问 http://127.0.0.1:6006。
尝试输入提示词：
水墨风格山水画，远山如黛，云雾缭绕，近处松树苍劲，溪水潺潺，留白处题诗一首，宋代美学，宣纸质感
参数默认：Seed 0，Steps 20。点击生成即可。
-1：自动生成随机种子，适合探索创意；15–25 步：日常黄金区间，兼顾速度与细节；30–40 步：高要求场景，耗时增加；>45 步：收益递减，不推荐。在 web_app.py 中找到初始化行，添加 enable_tiling=True：
pipe = FluxImagePipeline.from_model_manager(model_manager, device="cuda", enable_tiling=True)
分块处理大图潜空间张量，稳定运行 1024×1024 分辨率。
pipe.enable_cpu_offload()；num_inference_steps；os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "max_split_size_mb:128"。检查 VAE 文件 ae.safetensors 是否完整（约 1.2GB），确认 model_manager.load_models 中包含该路径，或重启进程。
当前镜像专注 Flux 生态。接入其他模型需修改 snapshot_download 路径及 pipeline 类名，建议先跑通流程再扩展。
本方案无需编译 C++ 或配置复杂环境变量，仅需安装依赖、运行脚本即可实现本地 AI 绘图。通过工程优化将量化、CPU 卸载等技术细节封装，降低资源门槛，让旧显卡也能发挥创造力。