使用 96G Atlas 300I Duo 推理卡通过 MindIE 和 WebUI 运行 32B 大语言模型

二、安装 Docker

Kylin V10 未自带 Docker，需手动安装离线包。

2.1 查看内核版本

uname -a

2.2 下载并解压 Docker

下载 aarch64 架构的 Docker 静态安装包（如 docker-27.2.0.tgz），解压至工作目录：

cd /root/work
tar -zxvf docker-27.2.0.tgz

2.3 移动 Docker 文件

mv /root/work/docker/* /usr/bin/

2.4 配置 Docker Service

编辑 /usr/lib/systemd/system/docker.service，添加以下内容：

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target

2.5 修改 daemon.json

创建或编辑 /etc/docker/daemon.json：

{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "insecure-registries": [
    "http://172.31.192.88:81"
  ]
}

2.6 启动 Docker

dockerd
systemctl start docker
systemctl enable docker
reboot

三、安装与部署

3.1 拉取镜像

从 Ascend Hub 获取 MindIE 镜像，例如 mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts。

登录仓库并拉取镜像：

docker login -u <username> swr.cn-south-1.myhuaweicloud.com
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

3.2 新建容器

docker run -it -d --net=host --shm-size=1g \
--privileged \
--name sakway \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
-v /usr/local/sbin:/usr/local/sbin:ro \
-v /root/work:/root/work:rw \
-v /path-to-weights:/path-to-weights:ro \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts bash

3.3 进入容器与下载权重

进入容器：

docker exec -it sakway bash
cd /root/work/

安装 modelscope 并下载模型权重：

pip install modelscope --index-url https://mirrors.huaweicloud.com/repository/pypi/simple/
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

将权重移动到工作目录并调整权限：

mv /root/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B /root/work/
chmod 750 /root/work/DeepSeek-R1-Distill-Qwen-32B/config.json

修改模型配置文件中的 torch_dtype 为 float16。

3.4 配置 MindIE 服务

编辑 /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json，根据实际 IP 和路径修改配置项，包括 ipAddress、modelWeightPath 等。

关键配置片段示例：

{
  "ServerConfig": {
    "ipAddress": "192.168.2.71",
    "port": 1040
  },
  "BackendConfig": {
    "npuDeviceIds": [[0,1]],
    "ModelDeployConfig": {
      "maxSeqLen": 2560,
      "ModelConfig": [{
        "modelName": "DeepSeek-R1-Distill-Qwen-32B",
        "modelWeightPath": "/root/work/DeepSeek-R1-Distill-Qwen-32B"
      }]
    }
  }
}

四、启动服务

启动 MindIE 服务：

cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon

成功标志显示 Daemon start success!。

4.1 命令行推理测试

打开新终端执行 curl 请求：

curl 192.168.2.71:1040/generate -d '{
  "prompt": "请输出 100 个生僻字？",
  "max_tokens": 32,
  "stream": false,
  "do_sample": true,
  "temperature": 0.01,
  "model": "qwen"
}'

五、MindIE + WebUI 方式

关闭防火墙：

systemctl stop firewalld

在容器内安装 Open-WebUI：

docker exec -it sakway bash
cd /root/work/
pip install open-webui --index-url https://mirrors.huaweicloud.com/repository/pypi/simple/

修改 MindIE 配置中的 ipAddress 为实际局域网 IP。

启动 Open-WebUI 服务：

open-webui serve

再次启动 MindIE 服务：

cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon

访问浏览器 http://<IP>:8080，注册管理员账户。在设置中配置外部链接，将 OpenAI API 地址修改为本地服务地址 http://<IP>:1040/v1。

保存后即可通过 Web 界面进行对话推理。