一、Atlas 300I Duo 推理卡相关安装步骤
由于显存瓶颈,48G 的 Atlas 300I Duo 推理卡无法运行 DeepSeek-R1-Distill-Qwen-32B 大语言模型,需使用 96G 版本。除显存外,服务器内存也需满足要求,建议配置 128GB 以上。
1.1 服务器系统与内核说明
| 服务器 | 系统版本 | 内核版本 | 内存条内存 |
|---|---|---|---|
| S5000C | Kylin V10 | 4.19.90-89.11.v2401.ky10.aarch64 | 128GB |
注意:服务器安装好系统后不要执行 yum update -y 更新,否则内核版本升级会导致驱动包安装失败。
1.2 系统环境确认
新开一个 terminal,执行以下命令确认是否检测到 Atlas 300I Duo 推理卡:
lspci | grep Huawei
如有卡,回显信息为:
0000:01:00.0 Processing accelerators: Huawei Technologies Co., Ltd. Device d500 (rev 23)
检查内核版本:
uname -a
检查系统版本:
cat /etc/*release
1.3 准备安装驱动固件
1.3.1 新增 HwHiAiUser 用户
groupadd HwHiAiUser
useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash
1.3.2 准备驱动与固件文件并安装
从华为昇腾官网下载以下文件:
- Ascend-hdk-310p-npu-driver_24.1.0.1_linux-aarch64.run
- Ascend-hdk-310p-npu-firmware_7.5.0.5.220.run
将下载好的安装文件放到 /root/work 目录下:
cd /root/work
chmod +x *
参考官方文档《Atlas 中心推理卡 24.1.0 NPU 驱动和固件安装指南》进行安装。首次安装场景需先安装驱动再安装固件。
安装 driver:
./Ascend-hdk-310p-npu-driver_24.1.0.1_linux-aarch64.run --check ./Ascend-hdk-310p-npu-driver_24.1.0.1_linux-aarch64.run --full
安装 firmware:
./Ascend-hdk-310p-npu-firmware_7.5.0.5.220.run --check ./Ascend-hdk-310p-npu-firmware_7.5.0.5.220.run --full


