跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像AI 生图工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

即梦数字人视频生成 API 调用与 Streamlit 实现

介绍基于火山引擎即梦 CV API 的数字人视频生成 Streamlit 项目。支持图片与音频驱动,集成主体检测、Mask 选择、Prompt 控制及视频下载功能。需配置公网可访问的文件服务(如本地 HTTP 或 Cloudflared 隧道)。适用于内部测试、技术演示及二次开发基础。

山野来信发布于 2026/4/6更新于 2026/7/2163 浏览

即梦数字人视频生成(Streamlit Demo)

基于 火山引擎即梦(Jimeng)CV API 的数字人视频生成示例项目。

支持 图片 + 音频驱动 的数字人视频生成流程,集成了主体检测、Mask 选择、Prompt 控制、视频生成与下载等完整功能,适合 内部测试 / 技术演示 / 二次开发。


一、功能概览

✅ 核心功能
  • 🔐 AK / SK 在线填写
    • 支持火山引擎 Access Key / Secret Key 在页面中直接输入
    • 无需写死在代码中,便于多账号切换
    • api key 申请地址:https://console.volcengine.com/iam/keymanage
  • 🖼 图片上传(人物图像)
    • 支持 JPG / PNG 格式
    • 自动保存到本地并生成公网可访问 URL
  • 🎵 音频上传(驱动音频)
    • 支持 MP3 / WAV 格式
    • 作为数字人说话 / 表情驱动音频
  • 🔍 人物 / 主体检测
    • 调用即梦目标检测接口
    • 自动识别图片中的多个主体
    • 返回每个主体对应的 Mask
  • ✂️ Mask 裁剪与可视化预览
    • 根据 Mask 自动裁剪主体区域
    • 按最长边缩放,统一预览尺寸
  • 🧩 主体选择机制
    • 可从多个检测到的主体中选择
    • 支持「不使用 Mask,直接使用原图」模式
  • ✏️ Prompt 驱动控制
    • 支持输入文本 Prompt
    • 用于控制表情、稳定性、真实感、风格等
  • 🎬 数字人视频生成
    • 提交视频生成任务
    • 自动轮询任务状态
  • 📥 视频结果展示与下载
    • 生成完成后可直接在线播放
    • 支持下载 MP4 文件
    • 视频按「时间 + UUID」自动命名并保存

二、运行环境要求

  • Python ≥ 3.9(推荐 3.10)
  • 操作系统:Linux / macOS / Windows
  • 一个 可公网访问的静态文件服务(用于图片和音频 URL)

⚠️ 火山引擎接口要求:

图片和音频 URL 必须可以被公网直接访问


三、依赖安装

1️⃣ 创建虚拟环境(强烈推荐)
python -m venv venv
source venv/bin/activate

Windows:

venv\Scripts\activate

2️⃣ 安装 Python 依赖

直接安装:

pip install streamlit requests pillow numpy

或使用 requirements.txt:

streamlit>=1.30
requests>=2.28
Pillow>=9.5
numpy>=1.23
pip install -r requirements.txt

四、目录结构说明

.
├── app.py              # Streamlit 主程序
├── res/                # 生成的视频结果保存目录
├── requirements.txt    # Python 依赖
└── README.md

请确保 res 目录存在:

mkdir -p res

五、静态文件服务配置(非常重要)

项目中会将 上传的图片 / 音频保存到本地目录,并通过 HTTP 方式对外暴露。

示例配置(本地测试)
UPLOAD_DIR = "/home/yourname/data/uploads"
PUBLIC_BASE_URL = "http://你的 IP:8000"

启动一个简单的 HTTP 服务:

cd /home/yourname/data/uploads
python -m http.server 8000

生产环境建议使用:

nginx

caddy

cloudflared

生产环境配置步骤
  • 安装 cloudflared
# 下载
wget https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64
# 改名
mv cloudflared-linux-amd64 cloudflared
# 加执行权限
chmod +x cloudflared
# 移到 PATH
sudo mv cloudflared /usr/local/bin/
  • 启动运行

本地启动 HTTP 服务

cd /home/yourname/data/uploads
python -m http.server 8000

新开一个终端,启动隧道

cloudflared tunnel --url http://localhost:8000

会看到类似输出:

https://random-name.trycloudflare.com

访问你的音频

https://random-name.trycloudflare.com/test.mp3


六、启动项目

streamlit run app.py

浏览器访问:

http://localhost:8501

七、使用流程说明

  1. 打开页面,输入 Access Key / Secret Key
  2. 上传一张 人物图片
  3. 上传一段 音频文件
  4. (可选)输入 Prompt 描述
  5. 点击「开始检测」
  6. 从检测到的主体中选择目标(或选择原图)
  7. 等待视频生成完成
  8. 在线预览并下载生成的视频

八、常见注意事项

  • 建议使用 清晰正脸人物图像
  • 音频时长不宜过长(建议 < 60 秒)
  • 若接口返回失败,请重点检查:
    • AK / SK 是否正确
    • 图片 / 音频 URL 是否能被公网访问
    • 文件格式是否符合要求

九、适用场景

  • 数字人 / 虚拟人能力演示
  • 内部技术验证
  • API 调用示例参考
  • 二次开发或功能扩展基础工程

十、项目地址及页面

  • https://github.com/min-star/omnihuman-api.git

页面展示

在这里插入图片描述


十一、免责声明

本项目仅作为 火山引擎即梦 API 使用示例(Demo)。

生成效果、接口能力、配额限制等以火山引擎官方文档为准。

参考链接:https://jimeng.jianying.com/ai-tool/generate?type=digitalHuman


十二、可扩展方向(建议)

  • Docker 一键部署
  • AK / SK 使用环境变量管理
  • 多任务队列 / 并发控制
  • 历史任务与结果管理
  • Prompt 模板与预设管理

如需进一步定制或扩展,请根据实际业务需求进行二次开发。

目录

  1. 即梦数字人视频生成(Streamlit Demo)
  2. 一、功能概览
  3. ✅ 核心功能
  4. 二、运行环境要求
  5. 三、依赖安装
  6. 1️⃣ 创建虚拟环境(强烈推荐)
  7. 2️⃣ 安装 Python 依赖
  8. 四、目录结构说明
  9. 五、静态文件服务配置(非常重要)
  10. 示例配置(本地测试)
  11. 生产环境配置步骤
  12. 下载
  13. 改名
  14. 加执行权限
  15. 移到 PATH
  16. 六、启动项目
  17. 七、使用流程说明
  18. 八、常见注意事项
  19. 九、适用场景
  20. 十、项目地址及页面
  21. 十一、免责声明
  22. 十二、可扩展方向(建议)
  • 免费图片AI生成工具免费生成了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 免费图片视频在线生成30秒,将你的创意变成现实开始设计
  • X/Twitter免费视频下载器免登陆无限额度免费视频解析下载了解详情
  • 100+免费在线小游戏爽一把
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • Meta-Llama-3-8B-Instruct 本地部署与 vLLM 加速实战
  • MySQL 事务核心概念与隔离级别实战
  • 英伟达开源 DreamDojo:4.4 万小时数据破解机器人训练难题
  • 基于 OpenClaw 框架搭建自动化 AI 选股系统
  • 汇川机器人软件 RobotLab 基础操作指南
  • Llama-3.2-3B 部署:Ollama 镜像免配置及 Mac M1/M2 原生运行实测
  • 大语言模型核心概念:预训练、微调与上下文学习
  • 清华、谷歌等10篇强化学习论文解读
  • Android 技术面试指南:Java、Kotlin 与核心知识点解析
  • 排序算法精讲:基础实现与性能分析
  • 基于 C++ 构建 DeepSeek 大模型推理 SDK 的架构设计与实现
  • 大模型学习路线与核心资源整理
  • 日语基础:指示代词与指示连体词用法解析
  • Scrapy 爬取新闻网站数据:安装与配置入门
  • Stable Diffusion 风格库使用指南:833 种艺术风格参考
  • 低代码平台中Python插件的关键应用场景
  • AWS Kiro 账号池管理系统 | 将 Amazon Q Developer API 转换为 OpenAI 兼容格式 | 支持多账号池、OIDC 自动认证、令牌自动刷新、Web 管理控制台 | Go
  • 多模态 Llama-3 模型微调实战教程
  • 常见排序算法原理与实现详解
  • Go 语言 Slice 深拷贝与浅拷贝详解

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online