跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonAI算法

DGX Spark 部署 vLLM + Open WebUI 运行 Qwen3-Coder-Next-FP8（CUDA 13.0）

详细记录在 NVIDIA DGX Spark（Grace Blackwell 架构）上部署 vLLM 推理服务并接入 Open WebUI 的完整流程。包含 FlashAttention 编译、vLLM wheel 安装、Qwen3-Coder-Next-FP8 模型加载等关键步骤，适配 aarch64 + CUDA 13.0 环境。提供本地与远程容器化部署方案，含性能实测数据、采样参数推荐及故障排查指南，适用于生产环境部署。

修罗发布于 2026/4/6更新于 2026/5/2244 浏览
DGX Spark 部署 vLLM + Open WebUI 运行 Qwen3-Coder-Next-FP8（CUDA 13.0）

本文详细记录在 NVIDIA DGX Spark（Grace Blackwell 架构）上部署 vLLM 推理服务并接入 Open WebUI 的完整流程，包含 FlashAttention 编译、vLLM wheel 安装、Qwen3-Coder-Next-FP8 模型加载等关键步骤，适配 aarch64 + CUDA 13.0 环境。

硬件平台：NVIDIA DGX Spark（Grace Blackwell GB10 架构） 操作系统：Ubuntu 24.04.4 LTS（aarch64） CUDA Version：13.0 用户：admin 模型：Qwen/Qwen3-Coder-Next-FP8（FP8 量化） 核心依赖：vLLM ≥ 0.15.1

一、在 Spark 上初始化 vLLM 部署环境（用户：admin）

mkdir -p ~/vllm
cd ~/vllm
uv venv --python 3.12 --seed-source .venv/bin/activate
pip install torch==2.9.1+cu130 --index-url=https://download.pytorch.org/whl/cu130
uv pip install setuptools==80.10.2
uv pip install packaging -U

二、依赖安装（FlashAttention 2.8.3 + Triton 3.6.0）

2.1 安装 FlashAttention（aarch64 + CUDA 13.0）

⚠️ 重要：当前 FlashAttention 官方暂未提供 cu130 + aarch64 的预编译 wheel。推荐下载社区构建版本或从源码编译。

方案 A：预编译 wheel（首选）
# 示例：假设已下载 wheel（替换为实际路径）
uv pip install /path/to/flash_attn-2.8.3+cu130torch2.5.0cxx11abiFALSE-cp312-cp312-linux_aarch64.whl --no-build-isolation --no-cache-dir
方案 B：源码编译（若无 wheel）
export MAX_JOBS=4
export CMAKE_BUILD_PARALLEL_LEVEL=2
uv pip install flash-attn --no-build-isolation --no-cache-dir

🔔 注意：源码编译需提前安装 build-essential, cmake, nvidia-cuda-toolkit, python3-dev。

2.2 升级 Triton 至 3.6.0+
uv pip install --upgrade "triton>=3.6.0"

三、部署 vLLM（aarch64, CUDA 13.0）

3.1 安装 vLLM（指定 cu130 + aarch64 wheel）

✅ 官方 vLLM ≥ v0.15.1 已提供 cu130 + aarch64 wheel。

# 获取最新版本号
export VLLM_VERSION=$(curl -s https://api.github.com/repos/vllm-project/vllm/releases/latest | jq -r '.tag_name' | sed 's/^v//')
# 固定参数（DGX Spark 环境）
export CUDA_VERSION=130
export CPU_ARCH=$(uname -m)
# 安装 wheel
uv pip install \
  https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu${CUDA_VERSION}-cp38-abi3-manylinux_2_35_${CPU_ARCH}.whl \
  --extra-index-url https://download.pytorch.org/whl/cu${CUDA_VERSION}
3.2 启动 vLLM 推理服务（单卡模式）
VLLM_USE_MODELSCOPE=true \
vllm serve \
  Qwen/Qwen3-Coder-Next-FP8 \
  --port 8000 \
  --tensor-parallel-size 1 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --gpu-memory-utilization 0.8
📊 性能实测（DGX Spark GB10）
指标结果
GPU 使用率>90%
显存占用（模型加载后）~110+ GB
推理吞吐~35–45 tokens/sec

四、部署 Open WebUI（在 Spark 本机上，非容器部署）

4.1 启动服务（使用 uvx，与 vllm 共用 python 虚拟环境）
HF_ENDPOINT=https://hf-mirror.com \
DATA_DIR=~/open-webui/data \
uvx --python 3.12 open-webui@latest serve \
--port 8080

✅ 访问地址：http://<dgx-spark-ip>:8080

4.2 连接 vLLM 后端（API 地址）

在 Open WebUI 中配置，管理员面板 -> 设置 -> 外部连接，OpenAI 接口，点击加号：

字段值
Urlhttp://localhost:8000/v1
模型 ID（留空或填 Qwen/Qwen3-Coder-Next-FP8）
密钥（留空）

五、容器化部署 Open WebUI（在另外一台机器上）

5.1 架构图说明

Local Workstation (Win11 + Docker Desktop) <-> NVIDIA DGX Spark (GB10)

推理负载通过 HTTP/1.1 over TCP 传输。

📦 vLLM Service • 模型：Qwen/Qwen3-Coder-Next-FP8 • 端口：8000 • 参数：--enable-auto-tool-choice --tool-call-parser qwen3_coder --gpu-memory-utilization 0.8

🐳 Docker Desktop 🌐 Open WebUI Container • 镜像：ghcr.io/open-webui/open-webui:main • 端口：3000 • 外部连接：http://host.docker.internal:8000/v1/

5.2 创建并运行 OpenWebUI 容器

创建 docker-compose.yml 文件：

services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: openwebui-app
    ports:
      - "3000:8080"
    volumes:
      - open-webui:/app/backend/data
volumes:
  open-webui:

在命令窗口里运行命令：

docker compose up -d
5.3 配置 OpenWebUI 容器连接 vLLM 地址

http://host.docker.internal:8000/v1 （若 host.docker.internal 不可用，可改为 DGX Spark 宿主机局域网 IP）

六、模型采样参数推荐（Qwen3-Coder-Next-FP8）

参数推荐值说明
temperature1.0代码生成任务平衡创造性与准确性
top_p0.95核采样，过滤低概率 token
top_k40避免生成低频无意义 token
max_tokens2048建议 ≤ 2048；可升至 4096
函数调用原生 (native)Qwen3-Coder-Next-FP8 自带函数调用

🔧 在 Open WebUI → 管理员面板 → 模型 → Qwen/Qwen3-Coder-Next-FP8 → 高级参数 中配置后，所有新会话自动生效。

七、故障排查（aarch64 / CUDA 13.0 专项）

问题解决方案
ImportError: libcurand.so.10...确认 CUDA Toolkit 13.0 安装完整：apt install nvidia-cuda-toolkit
CUDA driver version is insufficientnvidia-smi 显示驱动版本 ≥ 550.54.15
FlashAttention 加载失败确认 wheel 名称含 linux_aarch64 且 cu130
vLLM 启动报 Triton not installed重新运行 uv pip install --upgrade triton，确保 ≥3.6.0

八、参考资料

  • NVIDIA DGX Spark 官方技术文档
  • vLLM aarch64 + GPU 安装指南
  • DGX Spark 上安装使用 vLLM
  • Open WebUI 快速上手指南 python+uv

目录

  1. 一、在 Spark 上初始化 vLLM 部署环境（用户：admin）
  2. 二、依赖安装（FlashAttention 2.8.3 + Triton 3.6.0）
  3. 2.1 安装 FlashAttention（aarch64 + CUDA 13.0）
  4. 方案 A：预编译 wheel（首选）
  5. 示例：假设已下载 wheel（替换为实际路径）
  6. 方案 B：源码编译（若无 wheel）
  7. 2.2 升级 Triton 至 3.6.0+
  8. 三、部署 vLLM（aarch64, CUDA 13.0）
  9. 3.1 安装 vLLM（指定 cu130 + aarch64 wheel）
  10. 获取最新版本号
  11. 固定参数（DGX Spark 环境）
  12. 安装 wheel
  13. 3.2 启动 vLLM 推理服务（单卡模式）
  14. 📊 性能实测（DGX Spark GB10）
  15. 四、部署 Open WebUI（在 Spark 本机上，非容器部署）
  16. 4.1 启动服务（使用 uvx，与 vllm 共用 python 虚拟环境）
  17. 4.2 连接 vLLM 后端（API 地址）
  18. 五、容器化部署 Open WebUI（在另外一台机器上）
  19. 5.1 架构图说明
  20. 5.2 创建并运行 OpenWebUI 容器
  21. 5.3 配置 OpenWebUI 容器连接 vLLM 地址
  22. 六、模型采样参数推荐（Qwen3-Coder-Next-FP8）
  23. 七、故障排查（aarch64 / CUDA 13.0 专项）
  24. 八、参考资料
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫，关注极客日志

微信公众号「极客日志V2」，在微信中扫描左侧二维码关注。展示文案：极客日志V2 zeeklog

更多推荐文章

查看全部
  • VSCode GitHub Copilot 插件无法加载模型的解决方案
  • 轻小说机翻机器人：日语小说自动翻译工具
  • 大模型 RAG 应用中的两种高级检索模式：融合检索与递归检索
  • Windows 本地部署 OpenClaw 并配置 Telegram 机器人及网页搜索功能
  • DeepSeek 使用指南与高阶提示词技巧
  • TWIST2：基于 VR 的人形机器人全身遥操与视觉自主策略
  • 大模型开发应用：从提示词到通用人工智能
  • Linux 多线程开发：线程创建、终止、等待与分离实战
  • 腾讯 QClaw 本地 AI Agent 框架安装与使用指南
  • 信息网络安全人才缺口超 300 万 专家探讨安全维护策略
  • 程序员兼职接单平台推荐与避坑指南
  • Linux 信号保存与递达机制详解
  • Python 中值得注意的细节整理
  • 12 个优质免费 Python 编程课程精选
  • PCTF2025(web后半部分)
  • 10 分钟构建自动化工作流：Webhook 实战指南
  • Ψ0 人形全身 VLA：基于人类视频预训练与 MM-DiT 后训练策略
  • CARLA 仿真：自定义地图与 AI 车辆行为编程
  • Java 25 LTS 下载、安装与配置指南（以 IntelliJ IDEA 为例）
  • Flow取代LiveData的必要性分析

相关免费在线工具

  • 加密/解密文本

    使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online

  • 随机西班牙地址生成器

    随机生成西班牙地址（支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选），支持数量快捷选择、显示全部与下载。 在线工具，随机西班牙地址生成器在线工具，online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印，支持批量处理与下载。 在线工具，Gemini 图片去水印在线工具，online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online