基于 Clawdbot 与 Ollama 部署 Qwen3-32B 本地 AI 网关

全部显示正常即可继续；❌ 项按提示补全。Windows 用户请使用 WSL2（推荐 Ubuntu 22.04）。

3.2 拉取并启动 Clawdbot

Clawdbot 提供了预构建的 Docker 镜像，已内置代理服务与默认配置。

# 创建部署目录并进入
mkdir -p ~/clawdbot-qwen3 && cd ~/clawdbot-qwen3

# 下载 docker-compose.yml
curl -fsSL https://raw.githubusercontent.com/clawdbot/clawdbot/main/docker-compose.qwen3.yml -o docker-compose.yml

# 启动服务（后台运行）
docker compose up -d

# 验证服务状态
sleep 3
docker compose ps | grep -E "(clawdbot|proxy)" | awk '{print $1,$4}'

预期输出类似：clawdbot running proxy running。

3.3 加载 Qwen3-32B 模型

这一步完全由 Ollama 托管，无需手动下载模型文件。

# 拉取并加载 Qwen3-32B（首次需约 8–12 分钟）
ollama run qwen3:32b

# 验证模型是否就绪
curl http://localhost:11434/api/tags 2>/dev/null | jq -r '.models[] | select(.name=="qwen3:32b") | .status'

预期返回：loaded。

3.4 连通性测试

1. 测试前端可达性：打开浏览器访问 http://localhost:8080。
2. 测试流式响应：

curl -N http://localhost:18789/api/chat \
-H "Content-Type: application/json" \
-d '{ "model": "qwen3:32b", "messages": [{"role": "user", "content": "用一句话解释量子纠缠"}], "stream": true }' 2>/dev/null | grep -o '"content":"[^"]*"' | head -5

3. 测试代理转发：

curl -X POST http://localhost:18789/api/chat \
-H "Content-Type: application/json" \
-d '{ "model": "qwen3:32b", "messages": [{"role": "user", "content": "你好"}], "stream": false }' | jq -r '.message.content'

4. 使用体验与性能

4.1 界面功能

• 顶部状态栏：实时显示当前连接模型、GPU 显存占用、响应延迟。
• 主聊天区：支持 Markdown 渲染、代码块高亮。
• 快捷操作：清空对话、复制回复、导出为 Markdown。
• 高级设置：调整 temperature、max_tokens 等参数。

4.2 性能表现

在一台 Intel i7-12700K + RTX 4090 机器上测试：

Clawdbot 的流式渲染机制让 GPU 加速优势被充分放大。

4.3 安全与隐私

• 无外呼行为：镜像内无第三方域名调用代码。
• 全链路离线：所有请求均在 localhost 内完成。
• 模型文件本地存储：权重保存在 ~/.ollama/models/。

5. 进阶玩法

5.1 局域网共享

如需让同 WiFi 下的同事访问，修改 docker-compose.yml，在 clawdbot 服务下添加端口映射：

ports:
  - "8080:8080"
extra_hosts:
  - "host.docker.internal:host-gateway"

然后告诉同事访问 http://[你的电脑 IP]:8080。

5.2 多模型切换

Ollama 支持多模型共存。在 Clawdbot 界面右上角点击模型名，选择其他已加载模型（如 llama3:70b）即可切换。

5.3 自定义提示词

在「会话设置」中填入系统提示（System Prompt），例如指定角色身份，Qwen3-32B 会严格遵循。

6. 常见问题

6.1 页面空白，报 502

通常由 Ollama 未运行导致。请按顺序排查：

1. ollama list 确认模型状态。
2. curl http://localhost:11434/api/version 检查 API。
3. docker logs clawdbot-proxy 查看代理日志。
4. 重启 Ollama 和 Proxy 服务。

6.2 响应慢，GPU 未占用

检查是否启用了 Ollama 的 GPU 加速：

export OLLAMA_NUM_GPU=1
systemctl --user restart ollama

同时确认显卡驱动版本符合要求。

6.3 中文回答乱码

建议将温度调至 0.5–0.7，并在系统提示中明确要求使用简体中文。

7. 总结

本方案通过 Docker Compose 实现免编译、免依赖的一键启动，数据全链路本地流转，保障隐私安全。支持 GPU 加速、多模型切换及自定义提示词，适用于开发者快速搭建私有化 AI 对话平台。