Atlas 300I Duo 96G 部署 MindIE 运行 32B 大语言模型 WebUI 方式

执行 reboot 命令重启。如果驱动固件安装正确，执行 npu-smi info 命令可看到设备信息。

二、安装 Docker

Kylin V10 未自带 docker 命令，需自行安装。请根据内核版本下载对应的 Docker 离线安装包（如 aarch64 架构）。

2.1 查看内核版本

uname -a

2.2 查看内核参数

cat /proc/version

2.3 下载并解压 Docker

下载 docker-27.2.0.tgz 到 /root/work 目录：

cd /root/work
tar -zxvf docker-27.2.0.tgz

2.4 移动 Docker 文件

mv /root/work/docker/* /usr/bin/

2.5 修改 docker.service

编辑 /usr/lib/systemd/system/docker.service，添加以下内容：

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target

2.6 修改 daemon.json 文件

mkdir -p /etc/docker
vim /etc/docker/daemon.json

新增以下内容（注意替换 insecure-registries 中的实际地址）：

{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "insecure-registries": [
    "http://<示例 IP>:81"
  ]
}

2.7 启动 Docker

dockerd
systemctl start docker
systemctl status docker
systemctl enable docker

reboot 重启设备。

三、安装与部署

3.1 拉取镜像

登录华为云 SWR 仓库并拉取镜像：

docker login -u <用户名> swr.cn-south-1.myhuaweicloud.com
# 输入密码

拉取镜像：

docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

3.2 新建容器

docker run -it -d --net=host --shm-size=1g \
--privileged \
--name sakway \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
-v /usr/local/sbin:/usr/local/sbin:ro \
-v /root/work:/root/work:rw \
-v /path-to-weights:/path-to-weights:ro \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts bash

3.3 进入容器

docker exec -it sakway bash

3.4 下载权重模型

确保在容器内 /root/work/ 目录下：

1. 安装 modelscope：

pip install modelscope --index-url https://mirrors.huaweicloud.com/repository/pypi/simple/

2. 下载权重：

modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

3. 移动权重文件：

mv /root/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B /root/work/

4. 修改权限与配置：

cd /root/work/
chmod 750 /root/work/DeepSeek-R1-Distill-Qwen-32B/config.json
vim /root/work/DeepSeek-R1-Distill-Qwen-32B/config.json

将 torch_dtype: "bfloat16" 修改为 torch_dtype: "float16"。

5. 修改 MindIE 配置文件：

vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

根据实际网络环境修改 ipAddress 及 npuDeviceIds 等参数。关键配置项包括：

{"Version":"1.1.0","ServerConfig":{"ipAddress":"<服务器IP>","port":1040},"BackendConfig":{"backendName":"mindieservice_llm_engine","npuDeviceIds":[[0,1]],"ModelDeployConfig":{"maxSeqLen":2560,"ModelConfig":[{"modelName":"DeepSeek-R1-Distill-Qwen-32B","modelWeightPath":"/root/work/DeepSeek-R1-Distill-Qwen-32B","worldSize":2}]}}

四、跑服务化

cd 至服务目录并启动：

cd /usr/local/Ascend/mindie/latest/mindie-service/bin && ./mindieservice_daemon

成功标志：Daemon start success!

4.1 命令行推理方式

新开一个 terminal（可不进 docker），发送请求：

curl 192.168.2.71:1040/generate -d '{
  "prompt": "请输出 100 个生僻字？",
  "max_tokens": 32,
  "stream": false,
  "do_sample": true,
  "temperature": 0.01,
  "top_p": 0.001,
  "model": "qwen"
}'

五、MindIE+WebUI 方式

5.1 安装 WebUI

关闭防火墙（在 docker 外执行）：

systemctl stop firewalld

进入 docker 容器安装 open-webui：

docker exec -it sakway bash
cd /root/work/
pip install open-webui --index-url https://mirrors.huaweicloud.com/repository/pypi/simple/

5.2 配置与服务启动

1. 停止当前服务化进程（Ctrl+C）。
2. 修改 config.json 中的 ipAddress 为实际 IP。
3. 启动 Open-WebUI 服务：

open-webui serve

4. 重新启动服务化进程：

cd /usr/local/Ascend/mindie/latest/mindie-service/bin && ./mindieservice_daemon

5.3 访问 WebUI

浏览器访问：http://<服务器 IP>:8080

首次需创建管理员账户。登录后进入设置页面，选择外部链接，将 OpenAI API 连接地址修改为本地服务地址：http://<服务器 IP>:1040/v1。

保存后即可通过 Web 界面开启对话。同一局域网内的其他 PC 也可访问该地址。