DeepSeek R1 部署至 RK3588
本文介绍在瑞芯微 RK3588 SoC 上部署 DeepSeek R1 7B 模型的完整流程，涵盖开发板驱动适配、模型转换、板端推理及局域网 Web 访问。
一、项目背景介绍
项目基于空闲的 Firefly 出厂搭载瑞芯微 RK3588 SoC 的 arm64 开发板。随着大模型趋势发展，瑞芯微已针对各开源 LLM/VLM 完成适配工作，按照开发手册要求即可完成模型部署。
二、所需工具介绍
1. 硬件工具
1. X86 PC 虚拟机 Ubuntu20.04
PC 上安装 VMware 虚拟机，推荐 Ubuntu20.04，较为稳定。
2. 准备 NPU 驱动为 0.9.8 的 RK3588 开发板
需检查开发板的 NPU 驱动版本。输出命令：
sudo cat /sys/kernel/debug/rknpu/version
早期驱动（如 0.8.2）调用 CV 模型的 .so 没问题，但瑞芯微 LLM 需调用最新的 librkllm.so，对 NPU 驱动最低版本要求是 0.9.8。
升级 NPU 驱动的原因：
- 支持 RKLLM：早期驱动主要针对传统 CV 模型。LLM 引入 Transformer 算子、KV Cache 优化等特性，需要底层驱动 0.9.6+ 甚至 0.9.8+ 的指令集支持。
- 性能提升：新版驱动优化了内存管理和多核调度。
- 修复 Bug：修复旧版本在高负载下可能出现的 NPU 挂死或内存泄漏问题。
若驱动版本较低，需重新烧录固件（会清除数据）。以下是 Firefly RK3588 的烧录流程：
- 访问 Firefly 官网下载页，选中'固件'的'Ubuntu 固件'。
- 下载 Ubuntu22.04/SDesktop/kernel-6.1 文件节下的压缩包（如
ROC-RK3588S-PC_Ubuntu22.04-Xfce-r31161_v1.3.0b_250801.7z）。注意这是开发板固件，与虚拟机 Ubuntu 版本不同。 - 解压后找到
.img镜像文件。 - 下载并安装 RKDevTool 烧写工具和 RK 驱动助手。
- 打开 RKDevTool，连接开发板电源和数据线。若未识别设备，按住 RECOVERY 键接电，等待显示 LOADER 设备。
- 点击'升级固件'，选择对应的
.img文件进行烧录。 - 重启完成后，再次输入
sudo cat /sys/kernel/debug/rknpu/version确认驱动已升级至 0.9.8。
2. 软件工具
- Hugging Face: DeepSeek-R1-Distill-Qwen-7B。建议逐个下载
.safetensors文件以防 git clone 崩溃。
