Nanobot 实战:基于 vLLM 部署智能 QQ 聊天机器人
一、前言
在大模型时代,拥有一个个人专属的 AI 助手已经不再是遥不可及的梦想。本文将介绍如何使用 Nanobot 构建一个基于 vLLM 部署的智能 QQ 聊天机器人。
Nanobot 是由香港大学数据科学研究所开发的一款超轻量级 AI 智能体,灵感来自 OpenClaw。它的设计理念是'让 AI 触手可及',通过极简的代码实现强大的功能。Nanobot 的关键特性包括:
- 超轻量级:仅约 4,000 行核心代理代码,实时代码行数仅为 3,510 行
- 研究就绪:代码干净易读,易于理解、修改和扩展以用于研究
- 闪电般快速:最小的占用空间意味着更快的启动、更低的资源使用和更快的迭代
- 易于使用:一键部署即可使用
- 扩展性强:支持多种聊天平台接入,包括 QQ、飞书、邮箱等
- 高度定制:可以根据个人需求自由配置模型和功能
而 vLLM 则是一款专为大模型部署优化的工具,它通过实现 PagedAttention 等技术,大幅提升了大模型的推理速度和并发处理能力。
结合 Nanobot 和 vLLM,我们可以构建一个响应迅速、功能强大的智能 QQ 聊天机器人,让 AI 助手真正融入我们的日常沟通。
二、环境准备
在开始部署之前,我们需要准备一个合适的运行环境。以下是推荐的配置:
2.1 硬件要求
- CPU:至少 4 核以上
- 内存:至少 16GB(推荐 32GB 以上)
- GPU:如果要使用 vLLM 进行本地推理,建议使用 NVIDIA GPU,显存至少 16GB(推荐 24GB 以上)
- 存储空间:至少 100GB 可用空间(用于存储模型和依赖)
2.2 软件要求
- 操作系统:Linux(推荐 Ubuntu 20.04+)或 Windows 10/11
- Python:3.11+(推荐 3.12)
- Git:用于克隆代码仓库
- CUDA:如果使用 GPU,需要安装 CUDA 11.7+(推荐 11.8 或 12.4)
三、部署 vLLM 模型
3.1 部署服务
在云环境或本地部署 vLLM 服务。等待服务启动成功。
注意:需要调整 supervisor 启动模型的配置文件命令及脚本:
vim /etc/supervisor/conf.d/tencent_hy.conf
修改后的配置如下:
[program:llm]
command=/opt/miniconda3/bin/vllm serve --served-model-name Qwen3-4B-Instruct-2507 --max-model-len 25000 --gpu_memory_utilization 0.90 --model /usr/local/bin/Qwen3-4B-Instruct-2507 --port 8000 --host 0.0.0.0 --enable-auto-tool-choice --tool-call-parser hermes environment=HOME="/root",USER="root",LOGNAME=,SHELL= user=root autostart= autorestart= redirect_stderr= stdout_logfile = /root/workspace/llm.log


