DGX Spark 部署 vLLM + Open WebUI 运行 Qwen3-Coder-Next-FP8 (CUDA 13.0)

2.2 升级 Triton

uv pip install --upgrade "triton>=3.6.0"

三、部署 vLLM（aarch64, CUDA 13.0）

3.1 安装 vLLM

官方 vLLM ≥ v0.15.1 已提供 cu130 + aarch64 wheel。本部署采用最新稳定版。

# 获取最新版本号
export VLLM_VERSION=$(curl -s https://api.github.com/repos/vllm-project/vllm/releases/latest | jq -r '.tag_name' | sed 's/^v//')

# 固定参数（DGX Spark 环境）
export CUDA_VERSION=130
export CPU_ARCH=$(uname -m)

# 安装 wheel（使用官方 GitHub Releases + PyTorch cu130 索引）
uv pip install \
  https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu${CUDA_VERSION}-cp38-abi3-manylinux_2_35_${CPU_ARCH}.whl \
  --extra-index-url https://download.pytorch.org/whl/cu${CUDA_VERSION}

💡 说明：虽然使用的是 cp38-abi3 包，但它兼容 Python 3.12 及以上版本，无需担心版本不匹配问题。

3.2 启动 vLLM 推理服务

单卡模式启动，开启自动工具选择功能。

VLLM_USE_MODELSCOPE=true \
  vllm serve \
  Qwen/Qwen3-Coder-Next-FP8 \
  --port 8000 \
  --tensor-parallel-size 1 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --gpu-memory-utilization 0.8

📊 性能实测（DGX Spark GB10）

• GPU 使用率：>90%
• 显存占用：~110+ GB
• 推理吞吐：~35–45 tokens/sec（单次请求最大 40±5）

运行 1 个请求时约为 40 tokens/秒；运行 2 个请求时可提升至 59~70 tokens/秒。这主要得益于 FlashAttention 的优化。

四、部署 Open WebUI

4.1 本地部署（Spark 本机）

使用 uvx 启动，与 vLLM 共用 Python 虚拟环境。

HF_ENDPOINT=https://hf-mirror.com \
DATA_DIR=~/open-webui/data \
uvx --python3.12 open-webui@latest serve \
--port 8080

访问地址：http://<dgx-spark-ip>:8080 或 http://localhost:8080。

4.2 连接 vLLM 后端

在 Open WebUI 管理员面板 -> 设置 -> 外部连接，添加 OpenAI 接口：

点击 验证链接，应显示 已验证服务器链接。

五、容器化部署（远程主机）

若需在 Win11 等本地工作站通过 Docker 访问 DGX Spark 上的服务，可搭建容器化前端。

5.1 架构说明

本地工作站（Docker Desktop）通过 HTTP/TCP 调用 DGX Spark 上的 vLLM 服务。vLLM 监听 8000 端口，Open WebUI 容器监听 3000 端口，并通过网络映射访问远程 API。

5.2 创建并运行容器

创建 docker-compose.yml 文件：

services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: openwebui-app
    ports:
      - "3000:8080"
    volumes:
      - open-webui:/app/backend/data
volumes:
  open-webui:

运行命令：

docker compose up -d

⚠️ 注意：如果 C 盘空间不足，可在 Docker Desktop 设置中迁移 WSL 镜像位置，指定 data-root。

5.3 配置网络映射

确保 DGX Spark 的 8000 端口已对局域网开放，或在本地通过 SSH 隧道/NAT 映射到宿主机。

5.4 配置 Open WebUI 连接地址

在 Open WebUI 设置中，将 API 地址指向映射后的地址：

http://host.docker.internal:8000/v1

（若 host.docker.internal 不可用，可改为 DGX Spark 宿主机局域网 IP）。

六、模型采样参数推荐

针对 Qwen3-Coder-Next-FP8，建议配置如下参数以平衡代码生成的准确性与创造性：

在 Open WebUI → 管理员面板 → 模型 → 高级参数中配置后，所有新会话自动生效。

七、故障排查（aarch64 / CUDA 13.0 专项）

八、参考资料

• NVIDIA DGX Spark 官方技术文档
• vLLM aarch64 + GPU 安装指南
• Qwen3-Coder-Next-FP8 模型库
• Open WebUI 快速上手指南