小米智能家居 Miloco 分离式部署指南

vi .env

内容如下：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

最后执行启动命令：

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像下载完成并运行即可。

三、部署视觉大模型

对于普通用户，推荐使用 LM Studio 部署 GGUF 格式的 VL 模型。若拥有高性能 NVIDIA 显卡（显存 >= 24G），建议使用 vLLM 或 SGLang 进行生产级服务部署。

下载与安装 LM Studio

访问官网下载安装程序。

设置及模型下载

1. 点击右下角设置图标。
2. App Settings-General-Language 选择简体中文。
3. App Settings-Developer 启用本地 LLM 服务。
4. 在设置页 Runtime 检查环境支持情况（NVIDIA/AMD/Apple 用户均有对应选项）。
5. Model Search 搜索 xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF 并下载。

运行模型并提供 API 服务

1. 下载完成后点击左侧开发者图标（绿色终端）。
2. 点击顶部加载模型，状态显示 READY 后开启 Server。
3. 点击 Server Settings，打开'在网络中提供服务'。
4. 复制右侧 Reachable at 中的地址，例如 http://192.168.50.210:1234。

四、与 Miloco 对接

假设 Docker 宿主机 IP 为 192.168.50.123，访问 https://192.168.50.123:8000/。首次登录需填写 Callback 地址为 192.168.50.123:8000。

对接 VL 模型

点击模型管理 - 云端模型 - 添加模型：

• Base URL 输入 http://192.168.50.210:1234/v1
• API Key 随意填写
• 模型 ID 填 xiaomi-mimo-vl-miloco-7b
• 完成后在上方'视觉理解大模型'中选择该云端模型。

对接规划模型

若本地资源受限，可使用云端 API 服务。

1. 访问硅基流动官网注册并生成 API Key。
2. 添加云端模型：
   • Base URL 输入 https://api.siliconflow.cn/v1
   • API Key 填入刚才生成的密钥
   • 模型 ID 选 Qwen/Qwen3-8B
3. 在上方'规划大模型'中选择该云端模型。

回到 AI 中心即可开始使用。

五、优化建议

• 规划模型：Qwen3-8B 适合入门，若追求工具调用稳定性，可尝试 Kimi K2、Minimax M2 等更强模型。
• VL 模型：有条件可尝试部署全精度版本并使用 vLLM 服务，体验更佳。
• 架构说明：官方文档推荐方式集成了 AI Engine，本质是对 llama.cpp 的封装。分离式部署大模型服务灵活性更高。
• 注意事项：部分代码可能存在硬编码依赖，遇到平台适配问题需自行排查。