Mobile-Agent：基于多模态大模型的跨平台 GUI 自动化框架

Web 端信息查询

任务：在 Skyscanner 搜索 9 月 18 日北京至巴黎航班，返程 9 月 21 日。 执行：打开网站，填写出发地/目的地，选择日期，触发搜索按钮。

手机端日常操作

任务：小红书搜索'济南旅游攻略'，按收藏排序，保存第一条笔记。 执行：唤醒 APP，进入搜索栏，输入关键词，调整排序方式，执行保存操作。

部署与使用指南

在线体验

对于希望快速验证能力的用户，推荐直接使用在线 Demo，无需本地环境配置。

1. ModelScope 在线 Demo：基于无影云桌面和云手机，访问 ModelScope Studio。
2. 阿里云百炼 API：提供限时免费的 Mobile-Agent-v3 API 体验，访问 阿里云百炼控制台。

本地部署

若需私有化部署或在特定设备上运行，可按以下步骤操作。

# 1. 克隆项目仓库
git clone https://github.com/X-PLUG/MobileAgent.git
cd MobileAgent

# 2. 进入 v3 目录
cd Mobile-Agent-v3

# 3. 安装依赖包
pip install -r requirements.txt

# 4. 配置 API 密钥
# 需在对应平台申请 Key 并填入配置文件

# 5. 连接设备
# Android 设备需开启 ADB 调试模式

# 6. 运行示例指令
python run_api.py --instruction "你的具体指令"

模型独立使用

如果仅需调用 GUI-Owl 模型进行推理，可直接从以下平台获取权重：

• HuggingFace：GUI-Owl-7B, GUI-Owl-32B
• ModelScope：GUI-Owl-7B, GUI-Owl-32B

项目生态概览

Mobile-Agent 已发展为一个完整的工具家族，各组件分工明确：

• Mobile-Agent-v3：最新版，跨平台多模态 GUI 代理。
• UI-S1：通过半在线强化学习推进 GUI 自动化，代码与数据集已开源。
• GUI-Critic-R1：专注于操作前的错误诊断，提升任务成功率。
• PC-Agent：针对 PC 桌面应用的多代理框架。
• Mobile-Agent-E：支持自我进化的移动助手，能从错误中学习改进。

技术价值总结

Mobile-Agent 解决了传统 GUI 自动化脚本维护成本高、泛化能力差的痛点。通过多模态大模型的理解能力，它不再依赖固定的 XPath 或坐标，而是真正'看懂'界面。

对于开发者，它可以用于回归测试和 UI Bug 发现；对于产品经理，能模拟真实用户路径以优化体验；对于普通用户，则是解放双手的日常助手。随着 Qwen-3-VL 等新基座模型的引入，未来版本将在更强模型能力和更多平台支持上持续演进。

项目完全开源免费，GitHub 地址：X-PLUG/MobileAgent。