local-dream 项目实现安卓端 Stable Diffusion 高效运行与骁龙 NPU 加速
Stable Diffusion 作为主流模型,凭借出色的图像生成能力备受青睐。然而,其对硬件性能要求较高,多数用户只能在电脑端体验。随着'local-dream'项目的出现,这一局面被打破。该项目专注于让安卓设备流畅运行 Stable Diffusion 模型,支持高通骁龙 NPU 加速,还兼容 CPU/GPU 推理。
local-dream 项目旨在让安卓设备流畅运行 Stable Diffusion 模型,支持高通骁龙 NPU 加速及 CPU/GPU 推理。提供 txt2img、img2img、inpaint 三大核心功能,兼容多种模型如 Anything V5.0。硬件方面覆盖旗舰及非旗舰芯片,分辨率灵活可选。技术采用高通 QNN SDK 配合 W8A16 量化,以及 MNN 框架配合 W8 动态量化,确保在移动端的高效运行与图像生成质量。
Stable Diffusion 作为主流模型,凭借出色的图像生成能力备受青睐。然而,其对硬件性能要求较高,多数用户只能在电脑端体验。随着'local-dream'项目的出现,这一局面被打破。该项目专注于让安卓设备流畅运行 Stable Diffusion 模型,支持高通骁龙 NPU 加速,还兼容 CPU/GPU 推理。
'local-dream'项目的核心目标是打破硬件限制,让安卓用户在手机或平板上体验 Stable Diffusion 模型的强大功能。
根据文本描述生成图像。用户输入提示词(Prompt),例如'masterpiece, best quality, loli, kafuu chino, solo, cute, white',系统即可生成符合预期的图像。支持设置负向提示词(Negative Prompt)排除不想要的元素。
支持多种模型,包括 Anything V5.0、Absolute Reality、ChilloutMix 等。Anything V5.0 擅长动漫风格,Absolute Reality 和 ChilloutMix 偏向写实风格。模型总大小约 1.2GB。
对现有图像进行转换,支持风格迁移、元素添加或效果调整。设计师可用于草图转成品,摄影爱好者可进行艺术化处理。
重新绘制图像的选定区域,实现精准修复。例如移除多余物体或修改面部瑕疵。用户选定区域并输入提示词,系统根据提示词重新绘制。
支持高通骁龙系列芯片 NPU 加速,涵盖旗舰级(Snapdragon 8 Gen 1/+/2/3/Elite/Elite Gen 5)及非旗舰芯片(Snapdragon 7 Gen 1/8s Gen 3)。旗舰芯片 NPU 性能强劲,大幅提升生成速度。
不支持 NPU 的设备可使用 CPU/GPU 推理方案,仅需约 2GB 可用内存。虽速度不如 NPU,但兼容性强,适配各种配置。
支持本地导入基于 SD1.5 的 safetensor 模型用于 CPU/GPU 推理。NPU 加速用户可按指南将现有模型转换为 NPU 模型。
NPU 模式默认支持 512×512,可下载补丁启用 768×768 和 1024×1024。CPU/GPU 模式支持 128×128 至 512×512 等多种分辨率,平衡速度与质量。
种子(seed)用于实现图像可重现性。CPU 模式下种子最稳定,跨设备生成相同图像。GPU 模式下因驱动差异可能略有不同。NPU 模式下需相同芯片组才能保证一致性。
采用高通 QNN SDK,针对 Hexagon NPU 优化。使用 W8A16 静态量化方案(权重 8 位,激活值 16 位),减少内存占用和计算量。实测生成 512×512 图像时间低至 7.9 秒。
采用 MNN 框架,轻量级深度学习推理框架。使用 W8 动态量化方案,适应不同输入数据。支持多种分辨率,动态调整计算过程。
'local-dream'项目通过支持 NPU 加速和 CPU/GPU 推理,打破了硬件限制。采用高通 QNN SDK、MNN 框架及先进量化技术,确保模型在安卓设备上高效运行。未来有望扩展模型支持、提高分辨率及优化用户体验。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML 转 Markdown 互为补充。 在线工具,Markdown 转 HTML在线工具,online