基于腾讯混元 3D 大模型实现静态图片转 3D 模型教程 | 极客日志

基于腾讯混元 3D 大模型实现静态图片转 3D 模型教程 | 极客日志

腾讯混元 3D 大模型简介

基本信息

开发者在腾讯云高性能应用服务（HAI）上部署并使用混元 3D 2.0 大模型进行 3D 资产生成。

利用先进的 AI 技术，只需简单的图片输入或文本提示（暂时不支持文生图，本次活动只支持图生图），即可快速创建高质量的 3D 模型和纹理。

混元 3D 2.0 是腾讯推出的尖端 3D 生成模型，能够创建带有高分辨率纹理贴图的高保真 3D 资产。结合腾讯云 HAI 提供的高性能 GPU 算力，开发者可以低成本地体验专业级 3D 模型生成能力，大幅降低 3D 内容创作门槛。

适合对 3D 资产生成感兴趣的开发者、设计师、游戏开发人员以及希望探索 AI 辅助内容创作的技术爱好者。无需专业的 3D 建模经验，任意开发者都可轻松完成从零到拥有自己生成的 3D 资产的全过程。

服务介绍

混元 3D 模型

混元 3D 2.0 是一款先进的大规模 3D 资产创作系统，它可以用于生成带有高分辨率纹理贴图的高保真度 3D 模型。该系统包含两个基础组件：一个大规模几何生成模型 — 混元 3D-DiT，以及一个大规模纹理生成模型 — 混元 3D-Paint。几何生成模型基于流扩散的扩散模型构建，旨在生成与给定条件图像精确匹配的几何模型，为下游应用奠定坚实基础。纹理生成模型得益于强大的几何和扩散模型先验知识，能够为 AI 生成的或手工制作的网格模型生成高分辨率且生动逼真的纹理贴图。此外，我们打造了混元 3D 功能矩阵，一个功能多样、易于使用的创作平台，简化了 3D 模型的制作以及修改过程。它使用户和专业用户都能高效地对 3D 模型进行操作，甚至制作动画。

腾讯混元 Hunyuan3D 模型也已上架到腾讯云 HAI，通过 HAI 上更高性价比的 GPU 算力、模型一键部署能力和可视化图形界面 WebUI，有效降低模型开放和部署门槛。

附：腾讯 3D 模型访问地址
- GitHub 地址：GitHub - Tencent/Hunyuan3D-2: High-Resolution 3D Assets Generation with Large Scale Hunyuan3D Diffusion Models.
- Hugging Face 模型地址：https://huggingface.co/tencent/Hunyuan3D-2

在这里插入图片描述

高性能应用服务 HAI

高性能应用服务（Hyper Application Inventor，HAI）是一款面向 AI 和科学计算的 GPU/NPU 应用服务产品，提供即插即用的强大算力和常见环境。它可以帮助中小企业和开发者快速部署语言模型（LLM）、AI 绘图、数据科学等高性能应用，原生集成配套的开发工具和组件，大大提升应用层的开发生产效率。

在这里插入图片描述

在这里插入图片描述

环境准备

开通 HAI

进入 HAI 官网：高性能应用服务 HAI_GPU 云服务器_腾讯云

点击图片中的 立即使用

在这里插入图片描述

如未登录腾讯云账号，选择合适的方式进行账号登录

如未注册请点击注册按钮，按照流程进行信息填写即可

登录后会先进入优惠券兑换，用于后续实验，联系小助手后进入链接： https://console.cloud.tencent.com/expense/voucher 点击兑换优惠券，输入券码即可

在这里插入图片描述

兑换成功后进入高性能应用服务的控制台页面： https://console.cloud.tencent.com/hai/instance?rid=8

如果是第一次使用高性能应用服务会出现开通该服务的提示，点击开通即可

在这里插入图片描述

部署大模型

点击页面中的新建按钮

在这里插入图片描述

进入资源创建页面后完成下列动作

在选择应用 tab 栏目中点击 社区应用
在社区应用中选择 混元 Hunyuan3D-2
在点击立即购买后会提示勾选协议，勾选后再次点击立即购买即可

在这里插入图片描述

在这里插入图片描述

完成购买后会自动跳转回控制台页面，看到如下情况即表示混元 3D 生成大模型正在部署中

在这里插入图片描述

等待实例部署完成，看到如下状态即部署完成

温馨提示：请耐心等待几分钟

在这里插入图片描述

连接到混元 3D 生成大模型的 Gradio WebUI，点击算力连接，选中Gradio WebUI

在这里插入图片描述

看到如下界面即可进入混元 3D WebUI 界面

在这里插入图片描述

生成 3D 图片

温馨提示：请在生成可共享 GIF 文件之前验证 3D 资产是否符合预期，因为 GIF 渲染非常慢。

在新窗口中，在 Image Prompt 处拖拽或点击图片。非透明背景的图片建议勾选 Remove Background。

在这里插入图片描述

根据需求完成 3D 资产的生成

在这里插入图片描述

Generate Shape Only：仅生成形状
Generate Shape and Texture：生成形状和纹理
Generate GIF：生成 GIF 动图

在这里插入图片描述

下载对应的 GLB 格式文件以及 GIF 文件即可到对应赛道进行文件上传完成提交

HAI 验证截图需要全屏截图，浏览器窗口需要露出作品 GIF 图以及 IP 端口例如：

在这里插入图片描述

环境清理

完成作品生成后，即可第一时间清理服务器，为避免不必要的资源占用和费用产生。

请按照以下步骤销毁已创建的混元 3D 实例：

返回腾讯云高性能应用服务 HAI 控制台
在实例列表中找到您部署的混元 3D 模型实例
点击实例右侧的【更多】→【销毁】
在弹出的确认窗口中，阅读提示信息后点击【销毁资源】

在这里插入图片描述

整体操作下来是不是很简单，博主还尝试问过，生成的 3D 作品是完全可以转为 STL 格式进行 3D 实物手办打印的。

辅助工具

Blender

Blender 是一款免费开源三维图形图像软件，提供从建模、动画、材质、渲染、到音频处理、视频剪辑等一系列动画短片制作解决方案。

Blender 拥有方便在不同工作下使用的多种用户界面，内置绿屏抠像、摄像机反向跟踪、遮罩处理、后期结点合成等高级影视解决方案。Blender 内置有 Cycles 渲染器与实时渲染引擎 EEVEE。同时还支持多种第三方渲染器。

Blender 为全世界的媒体工作者和艺术家而设计，可以被用来进行三维可视化，同时也可以创作广播和电影级品质的视频，另外内置的实时三维游戏引擎，让制作独立回放的三维互动内容成为可能（游戏引擎在 2.8 版本被移除）。

DeepSeek+ 文心一言

如果不知道用什么图片，那么建议先用 DeepSeek 简单描述你的目标图片，发挥脑洞和想象力，让 DeepSeek 给出一些生成目标图片的提示词。

经过多轮询问和测试，得到还算满意的提示词

在这里插入图片描述

将你觉得满意的提示词贴到文心一言里，让它输出图片（建议不要复杂的图片内容）

在这里插入图片描述

发现生成出来的 3D 效果不太理想，就进一步询问

在这里插入图片描述