记录了在瑞芯微 RK3588 开发板上部署 DeepSeek R1 7B 模型的全过程。首先升级 NPU 驱动至 0.9.8 版本以支持 RKLLM 推理库；接着在 x86 环境下使用 rkllm-toolkit 将 Hugging Face 的 safetensors 权重转换为 .rkllm 格式并进行 W8A8 量化；随后在板端通过 C++ 示例或 Python Gradio 服务加载模型进行推理；最后实现局域网内的 Web 访问界面。该方案适用于资源受限的边缘设备运行大语言模型。
本文记录 DeepSeek R1 7B（基于 Qwen 底座）在瑞芯微 RK3588 SoC 上的完整部署流程，涵盖开发板驱动适配、模型转换、板端推理及局域网 Web 访问。
本项目使用搭载瑞芯微 RK3588 SoC 的 ARM64 开发板。虽然此前主要进行 CV 领域模型的部署，但大模型已成为趋势，瑞芯微已针对开源 LLM/VLM 完成适配，按手册要求即可完成部署。
检查 NPU 驱动版本命令：
sudo cat /sys/kernel/debug/rknpu/version
若版本低于 0.9.8（如 0.8.2），则无法调用 librkllm.so，需重新烧录固件。新版驱动支持 Transformer 算子、KV Cache 优化等特性，并修复了高负载下的稳定性问题。
固件烧录流程：
librkllmrt.so。从 Hugging Face 下载模型时，大模型通常被切分为多个文件（如 model-00001-of-00002.safetensors），需全部下载至本地目录。
确保 x86 服务器内存充足，建议配置 SWAP 防止转换崩溃。
创建 conda 环境：
conda create -n rkllm123 python=3.10
进入 rknn-llm-release-v1.2.3/rkllm-toolkit/packages 路径，安装工具包：
pip install rkllm_toolkit-1.2.3-cp310-cp310-linux_x86_64.whl
在目录下创建 export_model.py 和 generate_data.py。
generate_data.py（生成量化校准数据）：
import json
from transformers import AutoTokenizer
model_path = '/xxx/RKNN-LLM/rkllm/DeepSeek-R1-Distill-Qwen-7B'
prompts = [
"你好，请介绍一下你自己。",
"Explain the theory of relativity in simple terms.",
"写一首关于春天的七言绝句。",
"瑞芯微 RK3588 芯片的主要特点是什么？"
]
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
data_list = []
for prompt in prompts:
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
data_list.append({"input": text, "target": """})
with open('data_quant.json', 'w', encoding='utf-8') as f:
json.dump(data_list, f, ensure_ascii=False, indent=4)
print("量化数据已生成：data_quant.json")
export_model.py（执行转换）：
from rkllm.api import RKLLM
import os
model_path = '/xxx/RKNN-LLM/rkllm/DeepSeek-R1-Distill-Qwen-7B'
platform = 'rk3588'
export_path = f'DeepSeek-R1-Distill-Qwen-7B_W8A8_{platform}.rkllm'
llm = RKLLM()
print(">>> Loading model...")
ret = llm.load_huggingface(
model=model_path,
device='cpu',
dtype='float16'
)
if ret != 0:
print("Model Load Failed!")
exit(ret)
print(">>> Building model (Quantization W8A8)...")
qparams = None
dataset = './data_quant.json'
ret = llm.build(
do_quantization=True,
optimization_level=1,
quantized_dtype='w8a8',
quantized_algorithm='normal',
target_platform=platform,
num_npu_core=3,
dataset=dataset
)
if ret != 0:
print("Model Build Failed!")
exit(ret)
print(f">>> Exporting model to {export_path}...")
ret = llm.export_rkllm(export_path)
if ret != 0:
print("Model Export Failed!")
exit(ret)
print("\n\n转换成功！请将 .rkllm 文件推送到板端进行测试。")
执行顺序：
python generate_data.py
python export_model.py
将生成的 .rkllm 文件复制到开发板指定路径（如 /home/firefly/models/...）。
进入 rknn-llm-release-v1.2.3/examples/rkllm_api_demo/deploy，修改 llm_demo.cpp 中的 rkllm_set_chat_template 以适配 DeepSeek/Qwen 的 ChatML 格式：
// 【修改开始】适配 DeepSeek-R1 / Qwen 的 ChatML 模板
rkllm_set_chat_template(llmHandle, "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n", "<|im_start|>user\n", "<|im_end|>\n<|im_start|>assistant\n");
// 【修改结束】
修改 build-linux.sh 脚本，设置编译器为系统默认（gcc/g++），目标架构为 aarch64。
bash build-linux.sh
设置环境变量：
export LD_LIBRARY_PATH=~/rknn-llm-release-v1.2.3/rkllm-runtime/Linux/librkllm_api/aarch64/lib:$LD_LIBRARY_PATH
运行模型：
cd /xxx/rknn-llm-release-v1.2.3/examples/rkllm_api_demo/deploy/install/demo_Linux_aarch64
./llm_demo <模型路径> <最大生成长度> <上下文长度>
# 示例
./llm_demo /home/firefly/models/DeepSeek-R1-Distill-Qwen-7B_W8A8_rk3588.rkllm 512 2048
根据官方手册，可使用 Python 服务化方案提供 Web 界面。
在开发板上执行：
pip3 install gradio
cd ~/rknn-llm-release-v1.2.3/examples/rkllm_server_demo/rkllm_server
cp ~/rknn-llm-release-v1.2.3/rkllm-runtime/Linux/librkllm_api/aarch64/librkllmrt.so ./lib/
编辑 gradio_server.py，设置 server_name="0.0.0.0" 以允许局域网访问，并调整 chatRKLLM.launch() 参数。
关键代码片段：
os.environ["GRADIO_SERVER_NAME"]="0.0.0.0"
os.environ["GRADIO_SERVER_PORT"]="8080"
# ... 省略部分结构体定义 ...
if __name__ == "__main__":
# ... 解析参数 ...
model_path = args.rkllm_model_path
rkllm_model = RKLLM(model_path, args.lora_model_path, args.prompt_cache_path, args.target_platform)
chatRKLLM.queue()
chatRKLLM.launch(server_name="0.0.0.0", server_port=8080)
rkllm_model.release()
python3 gradio_server.py --model_path /home/firefly/rkllm_model_zoo_selfconvert/DeepSeek-R1-Distill-Qwen-7B_W8A8_rk3588.rkllm --target_platform rk3588
在局域网内其他设备浏览器访问 http://<开发板 IP>:8080 即可进行对话测试。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online