小米智能家居 Miloco 分离式部署指南

接着创建 .env 文件配置环境变量：

vi .env

内容如下（注意修正了原输入中的拼写错误）：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

3. 启动服务

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像下载完成并启动容器。

部署视觉大模型

对于普通用户，推荐使用 LM Studio 部署 GGUF 版 VL 模型；若拥有高性能 NVIDIA 显卡（如 RTX 3090/4090 等显存≥24G），建议使用 vLLM 或 SGLang 以获得更稳定的生产级服务。

1. 安装 LM Studio

访问官网下载安装包：https://lmstudio.ai/

2. 基础设置

• 进入 App Settings -> General -> Language，选择简体中文。
• 进入 App Settings -> Developer，启用本地 LLM 服务。

3. 检查运行环境

在设置页的 Runtime 选项卡下确认支持项：

• NVIDIA 用户：Vulkan llama.cpp, CUDA llama.cpp 等。
• AMD 用户：Vulkan llama.cpp, ROCm llama.cpp 等。
• 苹果用户：Vulkan llama.cpp, Metal llama.cpp, MLX llama.cpp 等。

4. 下载模型

在 Model Search 搜索框中输入：xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF，点击右下角 Download。

5. 开启 API 服务

• 下载完成后，点击左侧'开发者'图标（绿色终端）。
• 加载模型，状态显示为 READY。
• 将顶部开关切换至 Running。
• 点击 Server Settings，开启'在网络中提供服务'。
• 记录右侧显示的局域网地址，例如 http://192.168.50.210:1234。

与 Miloco 对接

假设 Docker 宿主机 IP 为 192.168.50.123，浏览器访问 https://192.168.50.123:8000/。首次登录需设置账号，Callback 地址填写 192.168.50.123:8000。

1. 接入视觉模型

进入模型管理 -> 云端模型 -> 添加模型：

• Base URL：填入 LM Studio 的地址，如 http://192.168.50.210:1234/v1
• API Key：随意填写
• 模型 ID：xiaomi-mimo-vl-miloco-7b
• 添加后，在上方'视觉理解大模型'中选择该云端模型。

2. 接入规划模型

若本地资源紧张，可使用硅基流动的大模型作为低成本方案：

• 访问 https://cloud.siliconflow.cn/ 注册登录。
• 生成 API 密钥（sk 开头）。
• 同样在'添加云端模型'处配置：
  • Base URL：https://api.siliconflow.cn/v1
  • API Key：填入刚才生成的密钥
  • 模型 ID：选择 Qwen/Qwen3-8B
• 完成后在'规划大模型'中选择对应云端模型。

回到 AI 中心，即可完成配置并开始使用。

优化建议

• 规划模型：Qwen3-8B 适合入门，若追求工具调用稳定性，可尝试 Kimi K2、Minimax M2 等更强模型。
• 视觉模型：有条件建议部署全精度版本并使用 vLLM 服务，体验更佳。
• 架构说明：官方推荐方式集成了 AI Engine，本质是对 llama.cpp 的封装。分离式部署灵活性更高。
• 注意事项：部分底层代码可能存在硬编码限制（如 CUDA 依赖），适配多平台时需注意兼容性。