小米智能家居 Miloco 分离式部署实战

vi .env

以下是 .env 的内容：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

继续执行命令：

mkdir -p data
mkdir -p log/backend
docker compose up -d

静待下载镜像以及运行即可。

三、部署视觉大模型

对于普通用户（含非专业的 AMD 用户），此处建议使用 LM Studio 或 Ollama 来部署 GGUF 版的 VL 模型。如果你有一张高性能 NVIDIA 显卡（RTX3090、RTX4090 等显存>=24G 的），想要更加专业稳定的服务，那么建议使用 vLLM 或 SGLang 进行生产级服务部署。此处为了照顾 Windows 及 macOS 用户，以简单易用的 LM Studio 举例。

下载 LM Studio 并安装

访问 https://lmstudio.ai/

设置及下载模型

点击界面最右下角的设置图标，

• App Settings-General-Language-简体中文
• App Settings-Developer-启用本地 LLM 服务

检查环境安装情况

还是在设置页-Runtime

NVIDIA 用户

• Vulkan llama.cpp
• CUDA llama.cpp
• CPU llama.cpp
• CUDA 12 llama.cpp
• Harmony

AMD 用户

• Vulkan llama.cpp
• ROCm llama.cpp
• CPU llama.cpp
• Harmony

苹果用户

• Vulkan llama.cpp
• Metal llama.cpp
• MLX llama.cpp
• CPU llama.cpp
• Harmony

下载模型

Model Search-搜索框中输入：xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF 点击右下角 Download 即可

运行模型并提供 API 服务

• 下载完成后点击页面左侧的'开发者'（一个绿色终端图标，位于对话图标下方）
• 点击页面顶部加载模型
• 你应该能够看到 xiaomi-mimo-vl-miloco-7b 是 READY 状态。
• 页面顶部有一个 Status: Stopped，点击开关，切换到 Running。
• 点击 Server Settings，打开'在网络中提供服务'。
• 你将得到一个局域网地址，显示在右侧的 Reachable at 中，如：http://192.168.50.210:1234。复制它。

四、与 Miloco 对接

假设你的 Docker 宿主机 IP 为 192.168.50.123，那么就访问 https://192.168.50.123:8000/。首次设置会让你登录账号，登录后有一个 callback 地址，也填写 192.168.50.123:8000。

对接 VL 模型

点击模型管理 - 云端模型 - 添加模型： Base URL 输入 http://192.168.50.210:1234/v1 API Key 随便填 模型 ID 填 xiaomi-mimo-vl-miloco-7b，再点击一下以添加。 完成后在上方'视觉理解大模型'中选择 云端：xiaomi-mimo-vl-miloco-7b

对接规划模型

对于许多用户来说，走到这一步的时候，想必你的显存/统一内存已经所剩无几了吧！让我们利用硅基流动的大模型。

• 访问 https://cloud.siliconflow.cn/，注册并登录。
• 点击左侧的 API 密钥，生成一个，复制出来（sk 开头的）
• 还是添加云端模型： Base URL 输入 https://api.siliconflow.cn/v1 API Key 填刚才生成的 模型 ID 选 Qwen/Qwen3-8B 完成后在上方'规划大模型'中选择 云端：Qwen/Qwen3-8B

回到 AI 中心，开始你的 Miloco 之旅吧！

五、优化建议

• 对于规划模型，你可以尝试使用更强的大模型，它们调用工具更稳定，比如 Kimi K2、Minimax M2 等。Qwen3-8B 的训练时间较早且对齐略有问题，可能不能很好地稳定调用工具。这只是一个便宜的入门之选。
• 对于 VL 模型，有条件的同学可以尝试部署全精度版本，使用 vLLM 提供服务，会获得更棒的体验。
• 官方文档中推荐的安装方式只是多集成了一个 AI Engine，本质上就是对 llama.cpp 的封装。分离式部署大模型服务更灵活。