小米智能家居 Miloco 分离式部署指南

.env

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

注意：原配置中 LOG_LEVER 为拼写错误，已修正为 LOG_LEVEL。

3. 启动服务

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像下载完成，服务即开始运行。

三、部署视觉大模型

对于大多数用户，尤其是非专业硬件玩家，推荐使用 LM Studio 来部署 GGUF 格式的视觉语言模型（VLM）。如果你有高性能 NVIDIA 显卡（如 RTX 3090/4090，显存≥24G），也可以考虑 vLLM 或 SGLang 以获得生产级性能，但 LM Studio 对 Windows 和 macOS 支持更友好。

1. 安装与设置

访问 LM Studio 下载安装。安装后进入设置界面：

• General：语言选择简体中文。
• Developer：启用本地 LLM 服务。

2. 检查运行时环境

在设置页的 Runtime 选项卡下，确认你的硬件对应的推理引擎已就绪：

• NVIDIA 用户：CUDA llama.cpp, Vulkan llama.cpp 等。
• AMD 用户：ROCm llama.cpp, Vulkan llama.cpp 等。
• 苹果用户：Metal llama.cpp, MLX llama.cpp 等。

3. 下载模型

在搜索框中输入 xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF，点击下载按钮获取模型文件。

4. 启动服务

• 点击左侧开发者图标（绿色终端），加载刚才下载的模型。
• 状态显示 READY 后，将顶部的开关切换至 Running。
• 点击 Server Settings，开启'在网络中提供服务'。
• 记录右侧显示的局域网地址，例如 http://192.168.50.210:1234。

四、对接 Miloco

假设你的 Docker 宿主机 IP 为 192.168.50.123，浏览器访问 https://192.168.50.123:8000/。首次登录需设置账号，Callback 地址填写 192.168.50.123:8000。

1. 接入视觉模型

进入模型管理 -> 云端模型 -> 添加模型：

• Base URL：填入 LM Studio 的地址，如 http://192.168.50.210:1234/v1
• API Key：随意填写
• 模型 ID：xiaomi-mimo-vl-miloco-7b

添加完成后，在上方'视觉理解大模型'中选择该云端模型。

2. 接入规划模型

如果本地显存不足，可以调用第三方 API 作为规划模型。这里以硅基流动为例：

1. 访问 Silicon Flow 注册并生成 API Key。
2. 在 Miloco 中添加云端模型：
   • Base URL：https://api.siliconflow.cn/v1
   • API Key：填入生成的密钥
   • 模型 ID：选择 Qwen/Qwen3-8B

回到 AI 中心，即可开始体验 Miloco 的智能体能力。

五、优化建议

• 规划模型选型：Qwen3-8B 适合入门，若追求工具调用的稳定性，可尝试 Kimi K2 或 Minimax M2 等更强模型。
• 视觉模型精度：有条件的话，建议部署全精度版本并使用 vLLM 提供服务，推理效果更佳。
• 架构说明：官方推荐方式集成了 AI Engine，本质是对 llama.cpp 的封装。分离式部署虽然步骤稍多，但在灵活性和资源隔离上更有优势。

注：部分底层代码仍包含特定硬件依赖，跨平台适配仍有改进空间。如有问题，请参考官方文档或社区讨论。