ClawdBot 本地 AI 网关：Docker 镜像集成 Whisper 与 PaddleOCR 部署

2.3 验证多模态能力

控制台首页的'Quick Test'区域提供即点即用测试：

• 🎤 语音测试：录音后自动完成 Whisper 转写及天气查询。
• 🖼 图片测试：上传含中英文文字的截图，调用 PaddleOCR 识别并翻译。
• 文本翻译：键入句子选择目标语言，快速返回翻译结果。

3. 模型与能力深度解析

3.1 Whisper tiny 优化

ClawdBot 对 Whisper tiny 做了三项关键优化：

• FP16 量化：模型权重从 FP32 压缩至 INT8，体积减少 76%，推理内存占用下降 41%；
• 音频预处理下沉：流程用 Rust 重写，嵌入 C++ 扩展，端到端耗时从 320ms 降至 110ms；
• 静音段智能跳过：自动检测语音前后 200ms 静音，避免无效推理。

3.2 PaddleOCR 轻量模型

集成 PaddleOCR v2.7 的轻量组合，专为边缘设备优化：

• 检测模型仅 1.2MB，支持 1024×768 以内任意尺寸输入；
• 识别模型支持中、英、日、韩等 10 种语言混排；
• 内置'模糊文字增强模块'，提升轻微脱焦、反光文字识别准确率。

3.3 多模态流水线

处理链路设计如下：

Telegram 消息 → [网关路由] ├─ 语音消息 → FFmpeg 解码 → Whisper tiny → 文本 → 翻译引擎 → 回复
                              ├─ 图片消息 → OpenCV 缩放 → PaddleOCR → 文本 → 翻译引擎 → 回复
                              └─ 文本消息 → 直接路由 → 翻译引擎 / 命令解析器

关键设计包括统一上下文管理、异步非阻塞 IO 及缓存友好结构。

4. 安全与隐私

4.1 默认不落盘

• 消息即用即弃：原始 JSON 立即从内存释放；
• 中间产物不保存：音频 WAV 临时文件、图片 PNG 缓存均在函数作用域内完成；
• 日志脱敏：消息内容、用户 ID、token 字段被覆盖；
• 阅后即焚开关：会话状态在回复发送完毕后强制清除。

4.2 代理与合规

• SOCKS5/HTTP 代理透传：配置 proxy 参数，出站请求自动走代理；
• 双翻译引擎 fallback：优先调用本地 LibreTranslate，失败才走 Google；
• 纯离线模式支持：关闭外部 API，仅保留 Whisper+OCR+ 本地翻译。

5. 进阶实践

5.1 替换模型

修改 /app/clawdbot.json 中 models 段，下载模型到宿主机并重启容器即可切换，无需重新构建镜像。

5.2 扩展功能

在 ~/.clawdbot/plugins/ 下新建 .py 文件即可添加自定义命令。例如增加 /stock 查实时股价：

# ~/.clawdbot/plugins/stock.py
from clawdbot.plugin import CommandPlugin

class StockPlugin(CommandPlugin):
    def __init__(self):
        super().__init__("/stock", "查询股票实时价格（示例）")
    def handle(self, message, args):
        if not args:
            return "请提供股票代码，如 `/stock AAPL`"
        # 此处调用本地 yfinance 或自建行情 API
        return f"{args[0]} 当前价格：$182.34（NASDAQ，延时 15 秒）"

plugin = StockPlugin()

6. 总结

ClawdBot 代表了一种新的 AI 应用范式：

• 能力原子化：每个模块可独立升级、替换、关闭；
• 部署极简化：Docker 镜像即产品，无环境依赖；
• 隐私契约化：所有设计围绕'数据不出设备'展开；
• 扩展平民化：JSON 配置、Python 插件、Web UI，让非工程师也能定制 AI 能力。