小米智能家居 Miloco 分离式部署指南

注意：YAML 对缩进非常敏感，请确保使用空格而非 Tab，且层级关系正确。

3. 配置环境变量

新建 .env 文件，定义端口和时区等参数：

vi .env

填入以下内容（注意修正了原文档中的拼写错误 LEVER -> LEVEL）：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

4. 启动服务

创建必要的日志和数据目录并启动容器：

mkdir -p data
mkdir -p log/backend
docker compose up -d

静待镜像拉取完成，服务启动后即可访问。

三、部署视觉大模型 (VL)

Miloco 需要视觉理解能力。对于非专业用户或显存有限的设备，推荐使用 LM Studio 部署 GGUF 格式的模型；若拥有高性能 NVIDIA 显卡（如 RTX 3090/4090，显存≥24G），建议生产级使用 vLLM 或 SGLang。

此处以简单易用的 LM Studio 为例，兼顾 Windows 和 macOS 用户。

1. 下载与安装

前往官网下载安装包：https://lmstudio.ai/

2. 基础设置

打开软件，点击右下角设置图标进行配置：

• App Settings > General > Language：选择简体中文。
• App Settings > Developer：勾选'启用本地 LLM 服务'。

3. 检查运行时环境

在设置页的 Runtime 选项卡下，确认你的硬件支持情况：

• NVIDIA 用户：Vulkan, CUDA llama.cpp, CPU llama.cpp 等。
• AMD 用户：Vulkan, ROCm llama.cpp, CPU llama.cpp 等。
• 苹果用户：Vulkan, Metal llama.cpp, MLX llama.cpp 等。

4. 下载模型

在 Model Search 搜索框中输入：xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF，点击下载按钮等待完成。

5. 启动 API 服务

1. 下载完成后，点击左侧绿色终端图标进入开发者模式。
2. 点击顶部加载模型，状态显示为 READY。
3. 将页面顶部的开关从 Stopped 切换至 Running。
4. 点击 Server Settings，开启'在网络中提供服务'。
5. 记录右侧显示的局域网地址，例如：http://192.168.50.210:1234。

四、对接 Miloco 后端

假设你的 Docker 宿主机 IP 为 192.168.50.123，浏览器访问 https://192.168.50.123:8000/。首次登录会要求设置账号，Callback 地址填写 192.168.50.123:8000。

1. 接入视觉模型

进入后台的模型管理界面：

• 选择 云端模型 > 添加模型。
• Base URL：填入 LM Studio 的地址，如 http://192.168.50.210:1234/v1。
• API Key：随意填写（LM Studio 默认无需验证）。
• 模型 ID：填 xiaomi-mimo-vl-miloco-7b。
• 添加成功后，在上方'视觉理解大模型'中选择该云端模型。

2. 接入规划模型

如果本地显存不足，规划模型部分可以调用云端 API。这里以硅基流动为例：

1. 访问 https://cloud.siliconflow.cn/ 注册并生成 API Key。
2. 回到 Miloco 后台，同样在 云端模型 中添加：
   • Base URL：https://api.siliconflow.cn/v1
   • API Key：填入刚才生成的密钥。
   • 模型 ID：选择 Qwen/Qwen3-8B。
3. 在'规划大模型'中选择对应的云端模型。

至此，Miloco 的核心链路已打通，可以在 AI 中心开始体验了。

五、注意事项与优化建议

• 规划模型选择：Qwen3-8B 适合入门，但工具调用稳定性一般。若预算允许，可尝试 Kimi K2、Minimax M2 等更强模型，它们对工具的调用会更稳定。
• 视觉模型精度：有条件的话，建议部署全精度版本并使用 vLLM 提供服务，推理效果会有明显提升。
• 架构灵活性：官方推荐的安装方式本质是对 llama.cpp 的多集成封装。分离式部署虽然步骤稍多，但解耦了各模块，维护起来更灵活。
• 兼容性提示：目前代码中对 CUDA/Nvidia 相关硬编码较多，跨平台适配仍有局限，遇到特定硬件问题可能需要自行排查。