Live VLM WebUI 实时视觉语言模型测试工具

方法三：从源码安装

git clone https://github.com/nvidia-ai-iot/live-vlm-webui.git
cd live-vlm-webui
pip install -e .
./scripts/start_server.sh

结合 Ollama 使用

Step 1: 安装 Ollama

# Linux / Mac / Jetson
curl -fsSL https://ollama.com/install.sh | sh
# Windows
# 从 https://ollama.com/download 下载安装

Step 2: 下载 Vision 模型

# 推荐的轻量级模型
ollama pull gemma3:4b
# 或其他 Vision 模型
# ollama pull llama3.2-vision:11b
# ollama pull qwen2.5-vl:3b

Step 3: 配置 Live VLM WebUI

1. 浏览器打开 https://localhost:8090
2. 接受自签名证书警告（开发环境）
3. 左侧菜单 "VLM API Configuration" 确认配置：
   • API Endpoint: http://localhost:11434/v1
   • Model: 选择已下载的模型

Step 4: 开始使用

1. 点击绿色按钮 "Start Camera and Start VLM Analysis"
2. 允许浏览器访问摄像头
3. 实时分析开始运行！

主要功能详解

提示词工程（Prompt Engineering）

左侧菜单 "Prompt Editor" 提供了 8 个预设提示词：

场景描述

Describe what you see in this image in one sentence.

物体检测

List all objects you can see in this image, separated by commas.

动作识别

Describe the person's activity and what they are doing.

安全检测

Are there any safety hazards visible? Answer with 'ALERT: description' or 'SAFE'.

OCR 文字识别

Read and transcribe any text visible in the image.

自定义提示词
您也可以输入自己的提示词，支持中文！

请详细描述这个场景，包括物体的位置关系。

性能监控

右侧面板实时显示：

• 推理延迟 - 每帧处理时间
• GPU 使用率 - 实时图表显示
• VRAM 占用 - 当前/最大值
• Tokens/秒 - 生成速度

摄像头设置

• 选择不同摄像头（如有多个）
• 调整帧处理间隔
• 支持 RTSP 网络摄像头（Beta）

性能测试数据

我们在多个平台上进行了测试：

Jetson Orin Nano 性能分析

即使在最入门的 Jetson Orin Nano 8GB 开发板上（售价约 $249），使用 gemma3:4b 模型：

推理速度：7-8 秒/帧
VRAM 占用：6-7 GB
GPU 使用率：85-95%（推理时）
功耗：15-18W
温度：60-65°C

虽然推理速度较慢，但连续实时推理的能力使其在以下场景中仍然非常有价值：

• 机器人导航和环境感知
• 工业质检（连续监控）
• 智能监控（场景变化检测）
• 研究和原型开发

应用场景

1. 模型性能测试与对比

快速评估不同 VLM 模型的性能：

• 推理速度对比
• 准确度评估
• 资源占用分析
• 提示词优化

2. 机器人视觉系统

为 Jetson 驱动的机器人提供视觉理解：

• 物体识别与定位
• 场景理解与导航
• 人机交互
• 安全检测

典型应用：

• AMR（自主移动机器人）
• 协作机器人（Cobot）
• 无人机视觉
• 服务机器人

3. 工业质检

利用 VLM 进行智能质检：

• 缺陷检测
• 装配验证
• 标签识别（OCR）
• 异常检测

优势：

• 无需大量标注数据
• 快速适应新产品
• 自然语言描述缺陷
• 降低部署成本

4. 智慧城市/安防

在边缘设备上部署 VLM：

• 行为分析
• 异常事件检测
• 人流统计
• 安全监控

5. 教育与研究

• VLM 课程实验
• 算法研究
• 快速原型开发
• 技术演示

技术架构

系统组件

┌─────────────┐ WebRTC ┌──────────────┐
│ Browser     │◄────────────────►│ WebUI    │
│ (Client)    │                │ Server   │
└─────────────┘                └──────┬───────┘
                                      │
                                      │ HTTP/API
                                      ▼
                               ┌──────────────┐
                               │ VLM Backend  │
                               │ (Ollama/     │
                               │ vLLM/API)    │
                               └──────────────┘

关键技术

1. WebRTC - 低延迟视频传输
2. aiortc - Python WebRTC 实现
3. FastAPI - 高性能 Web 框架
4. OpenAI-compatible API - 统一后端接口

常见问题

Q: 支持哪些 VLM 模型？

A: 支持所有兼容 OpenAI API 格式的 VLM，包括：

• Ollama 上的所有 Vision 模型
• vLLM 部署的模型
• NVIDIA API Catalog 的模型
• OpenAI GPT-4o/GPT-4o-mini

Q: 可以在 CPU 上运行吗？

A: 可以，但推理速度会很慢。推荐使用 GPU。

Q: 支持多个摄像头吗？

A: 当前版本支持切换摄像头，多路同时运行的功能考虑在未来版本中支持。

Q: 可以用于商业项目吗？

A: 可以！项目采用 Apache 2.0 许可证，允许商业使用。

Q: Jetson Nano 2GB/4GB 能运行吗？

A: 不推荐。由于 VRAM 限制和算力不足，即使是最小的 VLM 模型（1-2B 参数）也难以实际运行。强烈推荐使用 Jetson Orin Nano 或更高配置。Orin Nano 8GB 开发板（售价 $249）是运行 VLM 的最低推荐配置。

Q: 如何提高推理速度？

A: 建议：

1. 使用更小的模型（如 3-4B 参数）
2. 使用量化模型（INT4/INT8）
3. 增大帧处理间隔
4. 使用性能更强的 GPU

未来计划

• 多摄像头同时支持
• 模型对比视图（并排显示）
• 录制与回放功能
• 更多预设提示词模板
• 支持更多监控指标
• 多语言 UI 界面

总结

Live VLM WebUI 为 Vision Language Model 的测试和部署提供了一个简单易用的工具。无论您是：

• 🔬 AI 研究人员
• 👨‍💻 边缘 AI 开发者
• 🤖 机器人工程师
• 🏭 工业视觉工程师
• 🎓 AI 学生/爱好者

都可以通过这个工具快速体验 VLM 的能力，并将其应用到实际项目中。

项目链接：

• GitHub: https://github.com/nvidia-ai-iot/live-vlm-webui
• PyPI: https://pypi.org/project/live-vlm-webui/
• 文档：https://github.com/nvidia-ai-iot/live-vlm-webui/tree/main/docs