一、安装环境
- Windows 用户:安装 WSL2 以及 Docker
- macOS/Linux 用户:安装 Docker
请参考相关教程完成安装。特别地,对于 Windows 用户来说,你需要将 WSL2 的网络模式设置为 Mirrored。
二、使用 Docker 部署 Miloco 后端
以下均为 bash 命令。请 Windows 用户进入 WSL2 / Linux、macOS 用户进入终端操作:
mkdir miloco
cd miloco
vi docker-compose.yml
分离式部署小米智能家居 Miloco 后端及视觉大模型,通过 Docker 容器化运行服务,结合 LM Studio 本地部署 GGUF 版 VL 模型,并对接云端规划模型实现工具调用。步骤涵盖环境准备、Docker Compose 配置、模型下载与服务启动、API 参数设置及最终集成测试,适用于 Windows、macOS 及 Linux 环境。
请参考相关教程完成安装。特别地,对于 Windows 用户来说,你需要将 WSL2 的网络模式设置为 Mirrored。
以下均为 bash 命令。请 Windows 用户进入 WSL2 / Linux、macOS 用户进入终端操作:
mkdir miloco
cd miloco
vi docker-compose.yml
以下是 compose 的内容(不会使用 vi 的同学可以傻瓜式操作:先按 i,再使用粘贴功能,然后按冒号,输入 wq 然后回车,记得关闭输入法):
services:
backend:
container_name: miloco-backend
image: ghcr.nju.edu.cn/xiaomi/miloco-backend:latest
network_mode: host
expose:
- ${BACKEND_PORT:-8000}
environment:
- BACKEND_HOST=${BACKEND_HOST:-0.0.0.0}
- BACKEND_PORT=${BACKEND_PORT:-8000}
- AI_ENGINE_HOST=${AI_ENGINE_HOST:-0.0.0.0}
- AI_ENGINE_PORT=${AI_ENGINE_PORT:-8001}
- BACKEND_LOG_LEVEL=${BACKEND_LOG_LEVEL:-info}
- TZ=${TZ:-Asia/Shanghai}
volumes:
- ./data:/app/miloco_server/.temp
- ./log/backend:/app/miloco_server/.temp/log
restart: unless-stopped
healthcheck:
disable: true
再写个 .env:
vi .env
以下是 .env 的内容:
TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info
继续执行命令:
mkdir -p data
mkdir -p log/backend
docker compose up -d
静待下载镜像以及运行即可。
对于普通用户(含非专业的 AMD 用户),此处建议使用 LM Studio 或 Ollama 来部署 GGUF 版的 VL 模型。
如果你有一张高性能 NVIDIA 显卡(RTX3090、RTX4090 等显存>=24G 的),想要更加专业稳定的服务,那么建议使用 vLLM 或 SGLang 进行生产级服务部署。
此处为了照顾 Windows 及 macOS 小白用户,以简单易用的 LM Studio 举例。
点击界面最右下角的设置图标,
还是在设置页-Runtime
Model Search-搜索框中输入:xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF 点击右下角 Download 即可
xiaomi-mimo-vl-miloco-7b 是 READY 状态。Status: Stopped,点击开关,切换到 Running。Server Settings,打开'在网络中提供服务'。Reachable at 中,如:http://192.168.50.210:1234。复制它。假设你的 Docker 宿主机 IP 为 192.168.50.123,那么就访问 https://192.168.50.123:8000/。首次设置会让你登录账号,登录后有一个 callback 地址,也填写 192.168.50.123:8000。
点击模型管理 - 云端模型 - 添加模型:
Base URL 输入 http://192.168.50.210:1234/v1
API Key 随便填
模型 ID 填 xiaomi-mimo-vl-miloco-7b,再点击一下以添加。
完成后在上方'视觉理解大模型'中选择 云端:xiaomi-mimo-vl-miloco-7b
对于许多用户来说,走到这一步的时候,想必你的显存/统一内存已经所剩无几了吧!让我们使用硅基流动的大模型。
https://cloud.siliconflow.cn/,注册并登录。https://api.siliconflow.cn/v1
API Key 填刚才生成的
模型 ID 选 Qwen/Qwen3-8B
完成后在上方'规划大模型'中选择 云端:Qwen/Qwen3-8B回到 AI 中心,开始你的 Miloco 之旅吧!
Kimi K2、Minimax M2 等。Qwen3-8B 的训练时间较早且对齐略有问题,可能不能很好地稳定调用工具。这只是一个便宜的入门之选。vLLM 提供服务,会获得更棒的体验。AI Engine,本质上就是对 llama.cpp 的封装。分离式部署大模型服务更灵活。
微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online