DGX Spark 部署 vLLM + Open WebUI 运行 Qwen3-Coder-Next-FP8（CUDA 13.0）

2.2 升级 Triton

uv pip install --upgrade "triton>=3.6.0"

三、部署 vLLM（aarch64, CUDA 13.0）

3.1 安装 vLLM

官方 vLLM ≥ v0.15.1 已提供 cu130 + aarch64 wheel。本部署采用最新稳定版。

# 获取最新版本号（自动解析 tag，去掉 'v' 前缀）
export VLLM_VERSION=$(curl -s https://api.github.com/repos/vllm-project/vllm/releases/latest | jq -r '.tag_name' | sed 's/^v//')
# 固定参数（DGX Spark 环境）
export CUDA_VERSION=130
export CPU_ARCH=$(uname -m)
# 安装 wheel（使用官方 GitHub Releases + PyTorch cu130 索引）
uv pip install\
 https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu${CUDA_VERSION}-cp38-abi3-manylinux_2_35_${CPU_ARCH}.whl \
 --extra-index-url https://download.pytorch.org/whl/cu${CUDA_VERSION}

⚠️ 若下载失败（如网络限制），可提前下载 wheel 至本地后执行。

3.2 启动 vLLM 推理服务

单卡模式下，直接加载模型并开启工具调用支持。

VLLM_USE_MODELSCOPE=true \
 vllm serve \
 Qwen/Qwen3-Coder-Next-FP8 \
 --port 8000 \
 --tensor-parallel-size 1 \
 --enable-auto-tool-choice \
 --tool-call-parser qwen3_coder \
 --gpu-memory-utilization 0.8

📊 性能实测（DGX Spark GB10）

✅ 输出 token 速率与测评一致，甚至好于预期，可能得益于 FlashAttention 的优化。运行 1 个请求时约 40 tokens/秒；运行 2 个请求时可提升至 59~70 tokens/秒。

四、部署 Open WebUI（本机非容器模式）

4.1 启动服务

使用 uvx 启动，与 vLLM 共用 Python 虚拟环境。

HF_ENDPOINT=https://hf-mirror.com \
DATA_DIR=~/open-webui/data \
 uvx --python3.12 \
 open-webui@latest serve \
--port 8080

✅ 访问地址：http://<dgx-spark-ip>:8080
⚠️ 若运行于 DGX Spark 本机，直接打开 http://localhost:8080

4.2 连接 vLLM 后端

在 Open WebUI 中配置，管理员面板 -> 设置 -> 外部连接，OpenAI 接口，点击加号：

✅ 配置成功后测试：点击 验证链接，应显示 已验证服务器链接。

五、容器化部署 Open WebUI（跨主机场景）

若需在 Win11 等本地工作站通过 Docker Desktop 访问 DGX Spark 上的服务，可采用跨主机通信方案。

5.1 架构图示

Local Workstation (Win11 + Docker Desktop)
↓ HTTP/1.1 over TCP
NVIDIA DGX Spark (GB10)
GPU: Blackwell | CPU: Grace (aarch64) | CUDA: 13.0
📦 vLLM Service (端口 8000)
🐳 Docker Desktop
🌐 Open WebUI Container (端口 3000)
🔄 NVIDIA Sync (Custom) 映射 host:8000 → dgx-spark:8000

5.2 创建并运行容器

创建 docker-compose.yml 文件：

services:
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: openwebui-app
    ports:
      - "3000:8080"
    volumes:
      - open-webui:/app/backend/data
volumes:
  open-webui:

在命令窗口运行：

docker compose up -d

💡 注意：如果 C 盘空间不足，Docker Desktop 可以迁移 WSL 镜像的位置。在设置 -> Resources -> Docker Engine 指定 data-root 的位置。

5.3 配置端口映射

在 NVIDIA Sync 增加 custom 的端口映射，将宿主机的 8000 端口映射到 DGX Spark 的 8000 端口。

5.4 配置 OpenWebUI 容器连接 vLLM

在容器中配置连接地址：

http://host.docker.internal:8000/v1
（若 host.docker.internal 不可用，可改为 DGX Spark 宿主机局域网 IP）

六、模型采样参数推荐

针对 Qwen3-Coder-Next-FP8，建议如下参数配置以平衡代码生成的创造性与准确性：

参考 ModelScope 模型库配置。在 Open WebUI → 管理员面板 → 模型 → Qwen/Qwen3-Coder-Next-FP8 → 高级参数 中配置后，所有新会话自动生效。

七、故障排查（aarch64 / CUDA 13.0 专项）

🔍 关键诊断命令：随时检查 nvidia-smi 状态及日志输出。

八、参考资料

• NVIDIA DGX Spark 官方技术文档
• vLLM aarch64 + GPU 安装指南
• Qwen3-Coder-Next-FP8 模型库
• DGX Spark 上安装使用 vLLM
• Open WebUI 快速上手指南 python+uv