海光 DCU K100-AI 环境部署 Ollama 与 DeepSeek

1. 新版本驱动依赖 cmake 版本要高于 3.2，gcc 版本要大于 7.3。
2. kernel 版本要与 kernel-devel 版本一致。
3. 6.2.*以前的驱动显示的模块名称是 hydcu，6.3.*以后的驱动模块是 hycu。
4. 6.3.*驱动下，docker 调用时，推荐挂载/sys/kernel/debug 路径，不然容器内无法获取到 dcu 进程信息。

1.2 DCU 环境安装

参考官方文档：DCU PyTorch 镜像

拉取镜像要注意 dtk 的版本要跟你自己驱动的版本相匹配。推荐容器化部署。

docker run \
  --shm-size 64g \
  --network=host \
  --name=test \
  --privileged \
  --device=/dev/kfd \
  --device=/dev/dri \
  --group-add video \
  --cap-add=SYS_PTRACE \
  --security-opt seccomp=unconfined \
  -v {宿主机工作目录}:/home/ \
  -v /opt/hyhal:/opt/hyhal:ro \
  --it {镜像 id} bash

• --shm-size 64g：缓存区大小，默认好像是 64M。

2. Ollama 安装

进入容器内部：docker exec -it test bash

参考模型仓库：Model Zoo

下载模型和 ollama 用到的 inference 文件。

cd inference
pip install -r requirements.txt

2.1 编译 Ollama

因为 ollama 默认适配的是英伟达的 CUDA 架构，并没有默认适配海光，所以得从光源下载。

参考代码库：OpenDAS

# 注意，这里的代码版本和 go 的版本是强绑定的，这里如果更换，下面的流程就会发生变化！！！
git clone -b 0.5.7 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git --depth=1
cd ollama

# 编译
wget https://go.dev/dl/go1.23.4.linux-amd64.tar.gz
tar -C /usr/local -xzf go1.23.4.linux-amd64.tar.gz
export PATH=$PATH:/usr/local/go/bin

# 修改 go 下载源，提升速度（按需设置）
go env -w GOPROXY=https://goproxy.cn,direct

# 运行编译
export LIBRARY_PATH=/opt/dtk/lib:$LIBRARY_PATH
make -j 16
go build .

这时 ollama 文件夹中会出现一个 ollama 可执行文件。

2.2 运行

设备可以通过 rocminfo、rocm-smi 查询。

export HSA_OVERRIDE_GFX_VERSION=设备型号（如：Z100L gfx906 对应 9.0.6；K100 gfx926 对应 9.2.6；K100AI gfx928 对应 9.2.8）
# 例如
export HSA_OVERRIDE_GFX_VERSION=9.2.8

export ROCR_VISIBLE_DEVICES=显卡序号（0,1,2,3,4,5,6,...）
# 例如
export ROCR_VISIBLE_DEVICES=0,1,2,3

./ollama serve
# 另开一个窗口
./ollama run deepseek-r1:14b

注意：ollama 启动后，要确认显卡启用，ollama 日志中会有显示。

测试是否可以正常使用：

curl http://localhost:11434/api/chat -d '{"model":"deepseek-r1:14b","messages":[{"role":"user","content":"为什么天空是蓝色的？"}]}'
curl http://localhost:11434/api/generate -d '{"model":"deepseek-r1:14b","prompt":"为什么天空是蓝色的？"}'

如果其它服务器无法访问，添加环境变量：

export OLLAMA_HOST=0.0.0.0:11434

# 监听所有 ip，默认监听 127.0.0.1:11434

3. 制作 Docker 镜像

为了方便使用，这里将已经成功运行并已经部署好 ollama 和模型的容器只作为镜像。

docker commit \
  --change 'ENV PATH=$PATH:/usr/local/go/bin' \
  --change 'ENV LIBRARY_PATH=/opt/dtk/lib:$LIBRARY_PATH' \
  --change 'ENV HSA_OVERRIDE_GFX_VERSION=9.2.8' \
  --change 'ENV ROCR_VISIBLE_DEVICES=0' \
  --change 'CMD ["/workspace/ollama/ollama", "serve"]' \
  test dcu-ollama-deepseek:0.0.1

运行：dcu-ollama-deepseek:0.0.1

docker run \
  -d \
  --restart=always \
  --shm-size 64g \
  --network=host \
  --name=ollama \
  --privileged \
  --device=/dev/kfd \
  --device=/dev/dri \
  --group-add video \
  --cap-add=SYS_PTRACE \
  --security-opt seccomp=unconfined \
  -e OLLAMA_HOST=0.0.0.0:11434 \
  -v /usr/local/develop/data/ollama:/home/ \
  -v /opt/hyhal:/opt/hyhal:ro \
  dcu-ollama-deepseek:0.0.1

4. 参考资料

• https://developer.sourcefind.cn/tool
• https://developer.sourcefind.cn/gitbook//dcu_tutorial/#15
• https://sourcefind.cn/#/image/dcu/pytorch?activeName=overview
• https://download.sourcefind.cn:65024/6/main/
• https://sourcefind.cn/#/model-zoo/1888167889015537665