小米智能家居 Miloco 分离式部署实战指南

3. 配置环境变量

创建 .env 文件并填入以下配置：

vi .env

内容如下：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

4. 启动服务

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像下载完成即可运行。

三、部署视觉大模型

根据硬件条件选择合适的推理方案：

• 普通用户（含非专业 AMD 用户）：推荐使用 LM Studio 部署 GGUF 版 VL 模型，简单易用。
• 高性能 NVIDIA 显卡用户（显存 >= 24G）：建议使用 vLLM 或 SGLang 进行生产级部署。

此处以 LM Studio 为例演示。

1. 下载安装

访问 https://lmstudio.ai/ 下载并安装客户端。

2. 基础设置

• 进入 App Settings -> General -> Language，选择简体中文。
• 进入 App Settings -> Developer，启用本地 LLM 服务。

3. 检查运行时环境

在设置页的 Runtime 选项卡中确认已安装对应驱动：

• NVIDIA：Vulkan llama.cpp, CUDA llama.cpp 等。
• AMD：Vulkan llama.cpp, ROCm llama.cpp 等。
• Apple：Metal llama.cpp, MLX llama.cpp 等。

4. 下载模型

在 Model Search 搜索框输入：xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF，点击下载。

5. 启动 API 服务

• 点击左侧绿色终端图标进入开发者模式。
• 加载模型，状态显示为 READY。
• 将顶部开关切换至 Running。
• 点击 Server Settings，开启'在网络中提供服务'。
• 记录右侧显示的局域网地址，例如：http://192.168.50.210:1234。

四、对接与调试

假设 Docker 宿主机 IP 为 192.168.50.123，首次访问 https://192.168.50.123:8000/ 需登录账号，回调地址填写 192.168.50.123:8000。

1. 接入视觉模型

进入模型管理 -> 云端模型 -> 添加模型：

• Base URL：http://192.168.50.210:1234/v1
• API Key：任意填写
• 模型 ID：xiaomi-mimo-vl-miloco-7b

完成后在上方'视觉理解大模型'中选择 云端：xiaomi-mimo-vl-miloco-7b。

2. 接入规划模型

若本地资源受限，可接入云端规划模型：

1. 访问硅基流动官网注册并生成 API Key。
2. 添加云端模型：
   • Base URL：https://api.siliconflow.cn/v1
   • API Key：填入生成的密钥
   • 模型 ID：Qwen/Qwen3-8B
3. 在'规划大模型'中选择 云端：Qwen/Qwen3-8B。

回到 AI 中心即可开始体验。

五、优化建议

• 规划模型：Qwen3-8B 适合入门，若追求工具调用稳定性，可尝试 Kimi K2、Minimax M2 等更强模型。
• 视觉模型：有条件建议部署全精度版本并使用 vLLM 服务，体验更佳。
• 架构说明：官方推荐方式集成了 AI Engine，本质是对 llama.cpp 的封装。分离式部署能提供更灵活的服务控制。
• 注意事项：部分代码可能存在硬编码依赖，如遇兼容性问题需自行排查。