树莓派 4 部署本地 AI 助手：OCR/Whisper/vLLM 并发优化实践

树莓派 4 部署本地 AI 助手：OCR/Whisper/vLLM 并发优化实践 | 极客日志

docker run -d \
 --name moltbot \
 -e TELEGRAM_BOT_TOKEN="your_bot_token_here" \
 -e TZ=Asia/Shanghai \
 -p 8000:8000 \
 -v /path/to/config:/app/config \
 --restart=always \
 moltbot/moltbot:latest

{
 "models": {
  "mode": "merge",
  "providers": {
   "vllm": {
    "baseUrl": "http://localhost:8000/v1",
    "apiKey": "sk-local",
    "api": "openai-responses",
    "models": [
     {
      "id": "Qwen3-4B-Instruct-2507",
      "name": "Qwen3-4B-Instruct-2507"
     }
    ]
   }
  }
 }
}

# moltbot/workflows/translate.py（示意）
def post_edit_translation(text, target_lang):
    response = requests.post(
        "http://localhost:7860/v1/chat/completions",
        headers={"Authorization": "Bearer sk-local"},
        json={
            "model": "vllm/Qwen3-4B-Instruct-2507",
            "messages": [{
                "role": "user",
                "content": f"请将以下{target_lang}文本润色为更自然的表达，保持原意不变：{text}"
            }]
        }
    )
    return response.json()["choices"][0]["message"]["content"]

树莓派 4 部署本地 AI 助手：OCR/Whisper/vLLM 并发优化实践

树莓派 4 部署本地 AI 助手：OCR/Whisper/vLLM 并发优化实践

1. 什么是 ClawdBot？个人本地 AI 助手

2. MoltBot：Telegram 多模态翻译机器人快速部署

2.1 一句话看懂它能做什么

2.2 它到底有多'零配置'？

2.3 为什么树莓派 4 能扛住 15 人并发？

3. ClawdBot 与 MoltBot 的关系：本地 AI 能力架构

3.1 架构视角：一个内核，两种封装

3.2 配置复用：如何让 MoltBot 用上你自己的 vLLM 模型

更多推荐文章

相关免费在线工具

树莓派 4 部署本地 AI 助手：OCR/Whisper/vLLM 并发优化实践

树莓派 4 部署本地 AI 助手：OCR/Whisper/vLLM 并发优化实践

1. 什么是 ClawdBot？个人本地 AI 助手

2. MoltBot：Telegram 多模态翻译机器人快速部署

2.1 一句话看懂它能做什么

2.2 它到底有多'零配置'？

2.3 为什么树莓派 4 能扛住 15 人并发？

3. ClawdBot 与 MoltBot 的关系：本地 AI 能力架构

3.1 架构视角：一个内核，两种封装

3.2 配置复用：如何让 MoltBot 用上你自己的 vLLM 模型

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具