小米智能家居 Miloco 分离式部署指南

以下是 .env 的内容：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

继续执行命令：

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像下载及服务启动。

三、部署视觉大模型

建议使用 LM Studio 或 Ollama 来部署 GGUF 版的 VL 模型。若拥有高性能 NVIDIA 显卡（显存>=24G），可使用 vLLM 或 SGLang 进行生产级服务部署。此处以 LM Studio 为例。

下载并安装 LM Studio

访问 https://lmstudio.ai/ 下载安装。

设置及下载模型

1. 点击界面右下角设置图标。
2. App Settings-General-Language-简体中文。
3. App Settings-Developer-启用本地 LLM 服务。

检查环境安装情况

在设置页-Runtime 查看支持的运行时：

• NVIDIA 用户：Vulkan llama.cpp, CUDA llama.cpp, CPU llama.cpp 等。
• AMD 用户：Vulkan llama.cpp, ROCm llama.cpp, CPU llama.cpp 等。
• 苹果用户：Vulkan llama.cpp, Metal llama.cpp, MLX llama.cpp, CPU llama.cpp 等。

下载模型

Model Search-搜索框中输入：xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF 点击右下角 Download 即可。

运行模型并提供 API 服务

1. 下载完成后点击页面左侧'开发者'（绿色终端图标）。
2. 点击页面顶部加载模型。
3. 确认状态为 READY。
4. 将开关从 Stopped 切换至 Running。
5. 点击 Server Settings，打开'在网络中提供服务'。
6. 复制右侧 Reachable at 中的局域网地址，如：http://192.168.50.210:1234。

四、与 Miloco 对接

假设 Docker 宿主机 IP 为 192.168.50.123，访问 https://192.168.50.123:8000/。首次登录需填写 callback 地址为 192.168.50.123:8000。

对接 VL 模型

点击模型管理 - 云端模型 - 添加模型：

• Base URL 输入 http://192.168.50.210:1234/v1
• API Key 随意填写
• 模型 ID 填 xiaomi-mimo-vl-miloco-7b，点击添加。
• 完成后在上方'视觉理解大模型'中选择 云端：xiaomi-mimo-vl-miloco-7b。

对接规划模型

若本地资源不足，可使用云端大模型。

1. 访问 https://cloud.siliconflow.cn/，注册并登录。
2. 生成 API 密钥（sk 开头）。
3. 添加云端模型：
   • Base URL 输入 https://api.siliconflow.cn/v1
   • API Key 填入生成的密钥
   • 模型 ID 选 Qwen/Qwen3-8B
4. 完成后在上方'规划大模型'中选择 云端：Qwen/Qwen3-8B。

五、注意事项

• 规划模型可选择调用工具更稳定的版本，如 Kimi K2、Minimax M2 等。Qwen3-8B 作为入门选项可能无法稳定调用工具。
• VL 模型若有条件可尝试部署全精度版本，使用 vLLM 提供服务以获得更佳体验。
• 官方文档推荐的安装方式集成了 AI Engine，本质上是对 llama.cpp 的封装。分离式部署大模型服务更灵活。