海光 DUC 环境（海光 DCU K100_AI）部署 ollama+deepseek

看到 ZEEKLOG 上好多的这个部署流程不是要收费就是写的不清不楚，所以决定将我的部署流程写出来，明明所有的官方文档都是免费的。

“不太懂为什么吃了别人免费的饭，现在拉出来的屎要收费！”

声明：本人不是专业运维实施人员，所有的流程都是靠试或直觉，还有一点点的知识

正式开始：

系统：Kylin Linux Advanced Server V10（Lance）

CPU：海光 C86 7360（24 核）

内存：256GB

内核：Linux-4.19.90-52.48.v2207.ky10.x86_64

显卡：海光 DCU K100_AI（Co-processor）

1. 环境部署

1.1 驱动安装

光合开发者社区下载驱动

通过显卡型号选择驱动

安装驱动环境

centos：yum install -y rpm-build gcc-c++ cmake automake elfutils-libelf-devel libdrm libdrm-devel pciutils ubuntu：apt install -y gcc g++ cmake automake libelf-dev libdrm_amdgpu1或libdrm-amdgpu1 libtinfo5 pciutils libdrm-dev Centos：yum install -y kernel-devel-`uname -r` kernel-modules-extra ubuntu：apt install -y linux-headers-`uname -r` linux-modules-extra

chmod +x rock*.run systemctl restart hymgr

我这里选择安装 6.2.x 以下的驱动，因为 6.2.x 以上的驱动标识为hycu，以下的标识为hydcu，ollama 检测驱动时会检测标识为hydcu的驱动，如果安装新的会出现找不到 GPU 的问题。

以上内容是通过 ollama 日志猜测。。。

光合官方备注：

1）新版本驱动依赖cmake版本要高于3.2，gcc版本要大于7.3

2）kernel 版本要与kernel-devel版本一致

3）6.2.以前的驱动显示的模块名称是hydcu，6.3.以后的驱动模块是hycu。

4）6.3.*驱动下，docker调用时，推荐挂载/sys/kernel/debug路径，不然，容器内无法获取到dcu进程信息

1.2 DCU 环境安装

https://sourcefind.cn/#/image/dcu/pytorch?activeName=overview

拉取镜像要注意dtk的版本要跟你自己驱动的版本相匹配，上面有对应版本的表格，尽量新一点

推荐容器化部署，如果手动安装坑太多了！

docker run \ --shm-size 64g \ --network=host \ --name=test \ --privileged \ --device=/dev/kfd \ --device=/dev/dri \ --group-add video \ --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined \ -v {宿主机工作目录}:/home/ \ -v /opt/hyhal:/opt/hyhal:ro \ --it {镜像 id} bash

• --shm-size 64g
  • 缓存区大小，默认好像是 64M

容器化部署就是这么简单，有兴趣可以了解下手动部署的流程

2. ollama 安装

进入容器内部 docker exec -it test bash

https://sourcefind.cn/#/model-zoo/1888167889015537665

下载模型和 ollma 用到的inference文件

cd inference pip install -r requirements.txt

这里有警告不要紧，因为有些环境在容器中已经包含，再次安装就是会有警告

2.1 编译 ollama

因为 ollama 默认适配的是英伟达的 CUDA 架构，并没有默认适配海光，所以还是得从光源下载

http://developer.sourcefind.cn/codes/OpenDAS

# 注意，这里的代码版本和 go 的版本是强绑定的，这里如果更换，下面的流程就会发生变化！！！ git clone -b 0.5.7 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git --depth=1 cd ollama # 编译 wget https://go.dev/dl/go1.23.4.linux-amd64.tar.gz tar -C /usr/local -xzf go1.23.4.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin # 修改go下载源，提升速度（按需设置） go env -w GOPROXY=https://goproxy.cn,direct # 运行编译 export LIBRARY_PATH=/opt/dtk/lib:$LIBRARY_PATH make -j 16 go build .

这时 ollama 文件夹中会出现一个 ollama 可执行文件

2.2 运行

设备可以通过 rocminfo、rocm-smi查询

export HSA_OVERRIDE_GFX_VERSION=设备型号（如: Z100L gfx906对应9.0.6；K100 gfx926对应9.2.6；K100AI gfx928对应9.2.8） # 例如 export HSA_OVERRIDE_GFX_VERSION=9.2.8 export ROCR_VISIBLE_DEVICES=显卡序号（0,1,2,3,4,5,6,...） # 例如 export ROCR_VISIBLE_DEVICES=0,1,2,3 ./ollama serve # 另开一个窗口 ./ollama run deepseek-r1:14b

注意：ollama 启动后，要确认显卡启用，ollama 日志中会有

测试是否可以正常使用

curl http://localhost:11434/api/chat -d '{"model":"deepseek-r1:14b","messages":[{"role":"user","content":"为什么天空是蓝色的？"}]}' curl http://localhost:11434/api/generate -d '{"model":"deepseek-r1:14b","prompt":"为什么天空是蓝色的？"}' curl http://172.30.0.217:11434/api/chat -d '{"model":"deepseek-r1:14b","messages":[{"role":"user","content":"为什么天空是蓝色的？"}]}' curl http://172.30.0.217:11434/api/generate -d '{"model":"deepseek-r1:14b","prompt":"为什么天空是蓝色的？"}'

如果其它服务器无法访问，添加环境变量

OLLAMA_HOST=0.0.0.0:11434

# 监听所有 ip，默认监听 127.0.0.1:11434

3. 制作 docker 镜像

为了方便使用，这里将已经成功运行并已经部署好 ollama 和模型的容器只作为镜像

docker commit \ --change 'ENV PATH=$PATH:/usr/local/go/bin' \ --change 'ENV LIBRARY_PATH=/opt/dtk/lib:$LIBRARY_PATH' \ --change 'ENV HSA_OVERRIDE_GFX_VERSION=9.2.8' \ --change 'ENV ROCR_VISIBLE_DEVICES=0' \ --change 'CMD ["/workspace/ollama/ollama", "serve"]' \ test dcu-ollama-deepseek:0.0.1

运行：dcu-ollama-deepseek:0.0.1

docker run \ -d \ --restart=always \ --shm-size 64g \ --network=host \ --name=ollama \ --privileged \ --device=/dev/kfd \ --device=/dev/dri \ --group-add video \ --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined \ -e OLLAMA_HOST=0.0.0.0:11434 \ -v /usr/local/develop/data/ollama:/home/ \ -v /opt/hyhal:/opt/hyhal:ro \ dcu-ollama-deepseek:0.0.1

4. 参考

https://developer.sourcefind.cn/tool

https://developer.sourcefind.cn/gitbook//dcu_tutorial/#15

https://sourcefind.cn/#/image/dcu/pytorch?activeName=overview

https://download.sourcefind.cn:65024/6/main/

https://sourcefind.cn/#/model-zoo/1888167889015537665

国产化硬件任重道远，我们开发的关键是要保持好心态，耐心点，总能将问题解决🙂