nanobot 本地部署指南:支持多通道(Web/CLI/QQ)统一调度
1. 项目简介
nanobot 是一款超轻量级的个人人工智能助手,灵感来源于 OpenClaw 项目。这个工具最大的特点是代码量极小,只需要约 4000 行代码就能提供核心的代理功能,相比类似功能的 Clawdbot 项目(需要 43 万行代码)小了 99%。
nanobot 内置了 vllm 部署的 Qwen3-4B-Instruct-2507 模型,使用 chainlit 作为推理界面。最吸引人的是,它支持多种使用方式:可以通过网页界面聊天,可以用命令行交互,还能接入 QQ 机器人,实现统一的消息调度和处理。
无论你是想本地部署一个私人 AI 助手,还是希望为团队搭建一个智能问答系统,nanobot 都是一个非常轻量且实用的选择。
2. 环境准备与快速部署
2.1 系统要求
在开始部署之前,请确保你的系统满足以下基本要求:
- 操作系统:Linux(推荐 Ubuntu 20.04+ 或 CentOS 7+)
- Python 版本:3.8 或更高版本
- 显卡:至少 8GB 显存的 NVIDIA 显卡(用于运行 4B 参数模型)
- 内存:建议 16GB 或以上
- 存储空间:至少 20GB 可用空间
2.2 一键部署步骤
nanobot 的部署过程相当简单,只需要几个命令就能完成:
# 克隆项目仓库
git clone https://github.com/sonhhxg/nanobot.git
cd nanobot
# 创建 Python 虚拟环境
python -m venv venv
source venv/bin/activate
# 安装依赖包
pip install -r requirements.txt
# 启动模型服务
python serve_model.py
部署完成后,模型服务会自动在后台运行。整个过程通常需要 10-20 分钟,具体时间取决于你的网络速度和硬件性能。
3. 验证部署状态
3.1 检查模型服务
部署完成后,首先需要确认模型服务是否正常运行。打开终端,输入以下命令:
cat /root/workspace/llm.log
如果看到类似下面的输出,说明模型部署成功:
Model loaded successfully
vLLM engine initialized
Ready for inference
这个日志文件记录了模型加载和初始化的全过程,如果遇到问题,可以在这里找到详细的错误信息。
3.2 测试 chainlit 界面
nanobot 默认使用 chainlit 提供网页聊天界面。在浏览器中访问 http://localhost:8000,你应该能看到一个简洁的聊天界面。
在输入框中尝试提问,比如:'你能做什么?'或者'介绍一下你自己'。如果一切正常,你会看到模型生成的回复。
4. 基本功能使用
4.1 网页聊天界面
chainlit 提供的网页界面是最简单的使用方式。界面分为三个主要部分:
- 左侧边栏:显示聊天历史记录
- 主聊天区域:显示当前对话内容
- 底部输入框:用于输入问题
你可以在这里进行各种问答,比如技术问题咨询、代码编写帮助、文档生成等。
