小米智能家居 Miloco 分离式部署实战指南

接着创建 .env 文件配置环境变量：

vi .env

内容如下（注意修正了原稿中的拼写错误，将 LEVER 改为 LEVEL）：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

3. 启动服务

创建必要的目录并启动容器：

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像下载完成，服务即会自动运行。

部署视觉大模型

对于大多数用户，尤其是 Windows 和 macOS 用户，推荐使用 LM Studio 来部署 GGUF 格式的 VL 模型。如果你拥有高性能 NVIDIA 显卡（如 RTX 3090/4090，显存≥24G），追求生产级稳定性，建议使用 vLLM 或 SGLang。

这里以简单易用的 LM Studio 为例。

1. 安装与设置

访问官网下载安装：https://lmstudio.ai/

安装完成后进行基础设置：

• App Settings - General - Language：选择简体中文。
• App Settings - Developer：启用本地 LLM 服务。

2. 检查运行时环境

在设置页的 Runtime 选项卡中确认支持项：

• NVIDIA 用户：Vulkan llama.cpp, CUDA llama.cpp, CPU llama.cpp 等。
• AMD 用户：Vulkan llama.cpp, ROCm llama.cpp, CPU llama.cpp 等。
• 苹果用户：Vulkan llama.cpp, Metal llama.cpp, MLX llama.cpp, CPU llama.cpp 等。

3. 下载模型

在 Model Search 搜索框中输入：xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF 点击右下角 Download 按钮获取模型。

4. 启动 API 服务

• 下载完成后，点击左侧开发者图标（绿色终端）。
• 点击顶部加载模型，状态显示为 READY 后，将开关切换至 Running。
• 点击 Server Settings，开启'在网络中提供服务'。
• 右侧 Reachable at 会显示局域网地址，例如 http://192.168.50.210:1234，请复制该地址备用。

对接 Miloco 系统

假设你的 Docker 宿主机 IP 为 192.168.50.123，浏览器访问 https://192.168.50.123:8000/。首次登录需要设置账号，Callback 地址填写 192.168.50.123:8000。

1. 接入视觉模型

进入模型管理 -> 云端模型 -> 添加模型：

• Base URL：填入 LM Studio 的地址，如 http://192.168.50.210:1234/v1
• API Key：随意填写
• 模型 ID：xiaomi-mimo-vl-miloco-7b

添加完成后，在上方'视觉理解大模型'中选择 云端：xiaomi-mimo-vl-miloco-7b。

2. 接入规划模型

如果本地显存不足，可以使用云端免费服务作为规划模型。这里以硅基流动为例：

1. 访问 https://cloud.siliconflow.cn/ 注册并登录。
2. 生成 API Key（sk 开头），复制保存。
3. 回到 Miloco 添加云端模型：
   • Base URL：https://api.siliconflow.cn/v1
   • API Key：填入刚才生成的密钥
   • 模型 ID：选择 Qwen/Qwen3-8B

完成上述配置后，即可在 AI 中心开始体验 Miloco 的功能。

注意事项

• 规划模型选择：Qwen3-8B 适合入门，若需更稳定的工具调用能力，可尝试 Kimi K2、Minimax M2 等更强模型。
• 视觉模型优化：有条件的话，建议部署全精度版本并使用 vLLM 提供服务，体验会更流畅。
• 架构说明：官方文档推荐的多集成本质上是对 llama.cpp 的封装，分离式部署大模型服务能提供更灵活的扩展性。
• 兼容性提示：部分底层代码可能硬编码了 CUDA 相关依赖，跨平台部署时需注意硬件兼容性。