DeepSeek R1 在 RK3588 上的 RKLLM 转换与 Web 部署流程
本文记录 DeepSeek R1 7B（基于 Qwen 底座）在瑞芯微 RK3588 SoC 上的完整部署流程，涵盖开发板驱动适配、模型转换、板端推理及局域网 Web 访问。
一、项目背景介绍
本项目使用搭载瑞芯微 RK3588 SoC 的 ARM64 开发板。虽然此前主要进行 CV 领域模型的部署，但大模型已成为趋势，瑞芯微已针对开源 LLM/VLM 完成适配，按手册要求即可完成部署。
二、所需工具介绍
1. 硬件工具
- X86 PC 虚拟机：推荐安装 Ubuntu 20.04，用于模型转换环境。
- RK3588 开发板：需确保 NPU 驱动版本为 0.9.8 及以上。
检查 NPU 驱动版本命令：
sudo cat /sys/kernel/debug/rknpu/version
若版本低于 0.9.8（如 0.8.2），则无法调用 librkllm.so，需重新烧录固件。新版驱动支持 Transformer 算子、KV Cache 优化等特性，并修复了高负载下的稳定性问题。
固件烧录流程：
- 访问 Rockchip 官方或开发板厂商文档下载 Ubuntu 固件（如 ROC-RK3588S-PC_Ubuntu22.04-Xfce-r31161_v1.3.0b_250801.img）。
- 下载 RKDevTool 烧写工具及驱动助手。
- 安装驱动后打开 RKDevTool，通过 Recovery 模式连接开发板（按住 RECOVERY 键上电）。
- 选择固件文件点击升级，等待完成后重启。
- 重启后再次检查驱动版本确认升级成功。
2. 软件工具
- Hugging Face：下载开源模型权重（.safetensors 文件）。例如 DeepSeek-R1-Distill-Qwen-7B。
- RKNN-LLM-release：瑞芯微提供的模型转换与推理 SDK（GitHub: airockchip/rknn-llm）。需关注 release-v1.2.3 标签。
- rkllm-toolkit (PC 端)：Python 包，负责加载 HF 格式模型、量化并导出 .rkllm 文件。
- rkllm-runtime (板端)：C/C++ 推理库，核心动态库为
librkllmrt.so。 - rknpu-driver (系统层)：NPU 内核驱动。
三、获取.safetensors 模型权重
从 Hugging Face 下载模型时，大模型通常被切分为多个文件（如 model-00001-of-00002.safetensors），需全部下载至本地目录。
四、safetensors 转 RKLLM
1. 转换环境搭建
确保 x86 服务器内存充足，建议配置 SWAP 防止转换崩溃。
创建 conda 环境：
conda create -n rkllm123 python=3.10
进入 rknn-llm-release-v1.2.3/rkllm-toolkit/packages 路径，安装工具包：
pip install rkllm_toolkit-1.2.3-cp310-cp310-linux_x86_64.whl
2. 模型转换
在目录下创建 export_model.py 和 generate_data.py。
