小米智能家居 Miloco 分离式部署实战

接着创建 .env 文件配置环境变量：

vi .env

填入以下内容（修正了原稿中的拼写错误 LEVER -> LEVEL）：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

最后启动服务：

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像拉取完成，后端即开始运行。

视觉大模型部署

为了降低门槛，非专业用户推荐使用 LM Studio 部署 GGUF 格式的 VL 模型。如果你有高性能 NVIDIA 显卡（如 RTX 3090/4090，显存 >= 24G），追求生产级稳定性，建议考虑 vLLM 或 SGLang。这里以 LM Studio 为例演示。

安装与设置

访问官网下载并安装软件。安装完成后进行以下配置：

1. 点击右下角设置图标，语言选择简体中文。
2. 在开发者选项中启用本地 LLM 服务。
3. 检查 Runtime 支持情况：
   • NVIDIA: Vulkan llama.cpp, CUDA llama.cpp 等。
   • AMD: Vulkan llama.cpp, ROCm llama.cpp 等。
   • Apple: Metal llama.cpp, MLX llama.cpp 等。

模型加载

在搜索框输入 xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF 并下载。加载模型后，状态应显示为 READY。点击顶部的开关将其设为 Running，并在 Server Settings 中开启'在网络中提供服务'。记下右侧显示的局域网地址，例如 http://192.168.50.210:1234。

对接与配置

假设 Docker 宿主机 IP 为 192.168.50.123，浏览器访问 https://192.168.50.123:8000/。首次登录需设置回调地址为 192.168.50.123:8000。

接入视觉模型

进入模型管理页面，添加云端模型：

• Base URL: http://192.168.50.210:1234/v1
• API Key: 随意填写
• 模型 ID: xiaomi-mimo-vl-miloco-7b

添加成功后，在'视觉理解大模型'中选择该云端模型。

接入规划模型

如果本地资源紧张，可以使用硅基流动的免费额度。访问 https://cloud.siliconflow.cn/ 生成 API Key。在添加云端模型时：

• Base URL: https://api.siliconflow.cn/v1
• API Key: 填入生成的密钥
• 模型 ID: Qwen/Qwen3-8B

回到 AI 中心，即可开始体验。

优化建议

• 规划模型：Qwen3-8B 适合入门，若对工具调用稳定性有更高要求，可尝试 Kimi K2 或 Minimax M2 等更强模型。
• 视觉模型：有条件的话，全精度版本配合 vLLM 部署能获得更佳体验。
• 架构说明：官方文档推荐的多集成本质是对 llama.cpp 的封装。分离式部署虽然步骤稍多，但灵活性更高，便于独立升级组件。
• 注意事项：部分底层代码可能硬编码了 CUDA 相关依赖，跨平台适配时需注意兼容性。