小米 Miloco 分离式部署指南：环境搭建与模型对接

3. 配置环境变量 .env

vi .env

内容如下：

TZ=Asia/Shanghai
BACKEND_HOST=0.0.0.0
BACKEND_PORT=8000
BACKEND_LOG_LEVEL=info
AI_ENGINE_HOST=0.0.0.0
AI_ENGINE_PORT=8001
AI_ENGINE_LOG_LEVEL=info

4. 启动服务

mkdir -p data
mkdir -p log/backend
docker compose up -d

等待镜像下载完成，服务即开始运行。

三、部署视觉大模型

对于初学者或硬件配置一般的用户，推荐使用 LM Studio 部署 GGUF 格式的 VL 模型。若拥有高性能 NVIDIA 显卡（如 RTX 3090/4090 等显存≥24G），建议采用 vLLM 或 SGLang 以获得更稳定的生产级服务。

1. 安装 LM Studio

访问官网下载安装包：https://lmstudio.ai/

2. 基础设置

• 点击右下角设置图标。
• General：语言选择简体中文。
• Developer：启用本地 LLM 服务。

3. 检查运行时环境

在设置页的 Runtime 选项卡中确认支持项：

• NVIDIA 用户：Vulkan llama.cpp, CUDA llama.cpp, CPU llama.cpp 等。
• AMD 用户：Vulkan llama.cpp, ROCm llama.cpp, CPU llama.cpp 等。
• Apple 用户：Vulkan llama.cpp, Metal llama.cpp, MLX llama.cpp 等。

4. 下载模型

• 在 Model Search 搜索框输入：xiaomi-open-source/Xiaomi-MiMo-VL-Miloco-7B-GGUF
• 点击 Download 按钮。

5. 启动服务

• 下载完成后，点击左侧'开发者'图标（绿色终端）。
• 顶部加载模型，状态显示为 READY。
• 将开关从 Stopped 切换至 Running。
• 点击 Server Settings，开启'在网络中提供服务'。
• 记录右侧显示的局域网地址，例如：http://192.168.50.210:1234。

四、与 Miloco 对接

假设 Docker 宿主机 IP 为 192.168.50.123，访问 https://192.168.50.123:8000/。首次登录需设置账号，Callback 地址填写 192.168.50.123:8000。

1. 对接视觉模型

进入模型管理 -> 云端模型 -> 添加模型：

• Base URL：http://192.168.50.210:1234/v1
• API Key：随意填写
• 模型 ID：xiaomi-mimo-vl-miloco-7b
• 添加成功后，在上方'视觉理解大模型'中选择该云端模型。

2. 对接规划模型

若本地资源紧张，可使用硅基流动的免费接口作为规划模型：

• 访问 https://cloud.siliconflow.cn/ 注册并生成 API Key。
• 同样在云端模型中添加：
  • Base URL：https://api.siliconflow.cn/v1
  • API Key：填入刚才生成的密钥
  • 模型 ID：Qwen/Qwen3-8B
• 在'规划大模型'中选择对应云端模型。

回到 AI 中心，即可完成配置并开始体验。

五、注意事项

• 规划模型选择：Qwen3-8B 适合入门，但工具调用稳定性一般。条件允许可尝试 Kimi K2、Minimax M2 等更强模型。
• 视觉模型优化：有条件可尝试部署全精度版本并使用 vLLM 服务，体验更佳。
• 架构说明：官方推荐方式集成了 AI Engine，本质是对 llama.cpp 的封装。分离式部署能提供更灵活的服务控制。
• 兼容性提示：部分代码可能存在硬编码情况，跨平台部署时需注意 CUDA 相关依赖。