树莓派 4 本地部署 ClawdBot：OCR/Whisper/vLLM 并发实战

3.2 配置复用示例

若希望 MoltBot 调用 ClawdBot 管理的 vLLM 模型进行语义润色，只需两步：

1. 在 clawdbot.json 中启用 vLLM 提供方：

{
  "models": {
    "mode": "merge",
    "providers": {
      "vllm": {
        "baseUrl": "http://localhost:8000/v1",
        "apiKey": "sk-local",
        "api": "openai-responses",
        "models": [
          { "id": "Qwen3-4B-Instruct-2507", "name": "Qwen3-4B-Instruct-2507" }
        ]
      }
    }
  }
}

2. 修改 MoltBot 翻译工作流，指向 ClawdBot API：

# moltbot/workflows/translate.py（示意）
def post_edit_translation(text, target_lang):
    response = requests.post(
        "http://localhost:7860/v1/chat/completions",
        headers={"Authorization": "Bearer sk-local"},
        json={
            "model": "vllm/Qwen3-4B-Instruct-2507",
            "messages": [{
                "role": "user",
                "content": f"请将以下{target_lang}文本润色为更自然的表达，保持原意不变：{text}"
            }]
        }
    )
    return response.json()["choices"][0]["message"]["content"]

这样，MoltBot 从单纯工具升级为 AI 助理，兼顾速度与质量。

4. 实操指南：部署 ClawdBot 控制台

4.1 访问控制台的三种方式

Web 控制台默认监听本地回环地址且需设备认证。以下是三种可靠访问方式：

方式一：通过设备审批流程（推荐）

# 查看待审批设备请求
clawdbot devices list
# 批准请求（request ID 来自上一步输出）
clawdbot devices approve abc123-def456
# 此时控制台已可访问 http://localhost:7860

方式二：获取带 Token 的直连链接

clawdbot dashboard
# 输出类似：Dashboard URL: http://127.0.0.1:7860/?token=...

将 URL 中的 127.0.0.1 替换为你的树莓派局域网 IP（如 192.168.1.100），浏览器打开即可。

方式三：SSH 端口转发（适合无 GUI 环境）

# 在你的 Mac/Windows 电脑终端执行
ssh -N -L 7860:127.0.0.1:7860 [email protected]
# 然后浏览器访问 http://localhost:7860

4.2 模型热切换

ClawdBot 支持运行时模型热加载，无需重启服务：

1. 进入 Dashboard → Config → Models → Providers
2. 点击 Edit，修改 models 数组，添加新模型 ID
3. 点击 Save & Reload，系统自动探测新模型
4. 验证生效：

clawdbot models list
# 输出应包含新模型 # vllm/Qwen2.5-7B-Instruct-GGUF text 32k yes yes

注意：GGUF 格式模型需提前放入 /app/models/ 目录，并确保 vLLM 服务启动时已加载。ClawdBot 本身不负责模型下载，只做路由调度。

5. 性能实测：树莓派 4 上的多模态并发

5.1 测试环境与方法

• 硬件：Raspberry Pi 4B（4GB RAM，Samsung EVO Plus 128GB microSD）
• 系统：Ubuntu Server 24.04 LTS + Docker 26.1.0
• 负载模拟：自研脚本模拟 15 个 Telegram 客户端，随机间隔发送语音、图片、文本查询及群聊指令。
• 监控指标：每 5 秒采集 CPU、内存、平均响应延迟、错误率。

5.2 关键数据结果

特别值得注意的是资源复用效率：Whisper 和 PaddleOCR 共享 OpenCV 预处理流水线，vLLM 推理与 LibreTranslate 翻译共用 HTTP 连接池，避免了传统微服务架构的资源浪费。

5.3 为什么它不卡顿？三个关键优化点

1. 模型粒度分层加载：不同任务使用不同精度模型。语音用 Whisper tiny（15MB），OCR 用 PP-OCRv4（28MB），主模型用 Qwen3-4B-Instruct（2.1GB）。整套栈总内存占用<3.5GB。
2. 异步非阻塞 IO 设计：所有 I/O 操作通过 asyncio 协程调度，避免单个慢请求阻塞事件循环。高分辨率图片 OCR 耗时 2.1 秒期间，其他用户的语音请求仍能正常处理。
3. 请求智能熔断与降级：当 CPU 连续 3 秒>90%，自动触发降级策略（降低 OCR 精度、启用 Whisper 快速模式、减小 batch size）。降级后响应延迟上升约 15%，但错误率保持为 0。

6. 总结

ClawdBot 和 MoltBot 的价值在于把复杂技术变成了普通人可部署的日常工具。在树莓派 4 上同时跑 OCR、Whisper、vLLM 并支撑 15 人并发，不是技术奇迹，而是工程耐心的结果——对模型选型的克制、对资源边界的敬畏、对用户体验的诚实。

AI 落地不必等待算力革命，现有硬件足够支撑大量真实场景；隐私保护不必以牺牲便利为代价，本地化部署可以既安全又高效。如果你正寻找一个不依赖云服务、不担心数据泄露的 AI 助手，这套方案提供了完整的基础设施。