Midscene 是一款开源的 AI 驱动自动化操作工具，核心理念是让 AI 成为浏览器操作员。它支持自然语言描述任务目标，通过视觉识别定位界面元素，无需依赖传统 XPath 或 CSS 选择器。主要面向 Web 端及移动端，适用于 UI 自动化测试、RPA 办公提效及原型验证。基于 Node.js 运行，可接入阿里云百炼、OpenAI 等模型。相比 Selenium 等传统工具，Midscene 具有更强的抗干扰性和低维护成本，适合 UI 频繁变动的场景。
Midscene 是一款革命性的、开源的 AI 驱动自动化操作工具（AI Operator），其核心理念是'让 AI 成为你的浏览器操作员'。它打破了传统自动化测试依赖复杂代码和固定选择器（如 XPath、CSS Selector）的模式，允许用户使用自然语言直接描述任务目标，由 AI 自主规划并执行界面操作。该工具主要面向 Web 端，同时也支持移动端（Android/iOS）的自动化场景，广泛应用于软件测试、RPA（机器人流程自动化）及日常办公提效。它由阿里巴巴国际数字商业集团（AIDC）的测试团队发起并维护，代码托管在 GitHub 上，遵循 MIT 许可证。这意味着大家可以免费将其用于个人学习、公司内部项目甚至商业产品中，无需支付授权费用。
核心依赖: 它本身是免费的，但运行时需要调用大模型（LLM）。默认情况下，它支持接入阿里云百炼（DashScope）、OpenAI 或其他兼容 OpenAI 协议的模型接口。注意：虽然工具免费，但调用大模型 API 可能会产生少量的 Token 费用（取决于选择的模型和用量），不过它也支持部署本地模型以实现完全零成本。
这是 Midscene 最显著的特征。用户无需学习复杂的自动化框架 API，只需用通俗的语言描述意图。
传统工具（如 Selenium、Playwright）依赖 DOM 结构和固定的选择器，一旦页面结构微调（如 class 名变更），脚本就会失效。
支持多种方式来定义任务：
Midscene 不仅仅是一个执行器，它具备 Agent（智能体）特性。在执行复杂任务时，它会：
这是 Midscene 最核心的应用场景。
替代重复性的人工网页操作，提升白领工作效率。
产品经理可以使用自然语言快速录制或生成操作流程，用于向开发团队演示预期行为，或制作自动化的产品演示视频，无需编写任何代码。
虽然主要定位为自动化工具，但其视觉理解和自然语言交互的特性，理论上可辅助视障人士通过语音指令操作复杂的网页应用。
@midscene/web 等包，方便集成到 CI/CD 流水线中。| 特性 | 传统工具 (Selenium/Playwright) | Midscene (AI 驱动) |
|---|---|---|
| 脚本编写 | 需编写代码，熟悉 API | 自然语言描述，低代码/无代码 |
| 元素定位 | 依赖 DOM/XPath/CSS，脆弱 | 依赖视觉识别，鲁棒性强 |
| 维护成本 | 高（UI 变动即需修改代码） | 低（适应 UI 变化） |
| 执行速度 | 极快（直接调用接口） | 略慢（需经过模型推理） |
| 适用场景 | 稳定系统的精确回归测试 | 快速迭代系统、复杂交互、非技术人员使用 |
Midscene 代表了自动化测试和 RPA 领域的未来趋势：从'基于规则'向'基于意图'转变。在 2025-2026 年，随着多模态大模型能力的进一步提升（如更快的推理速度、更精准的上下文理解），Midscene 这类工具将变得更加稳定和高效。它特别适合那些 UI 变动频繁、业务逻辑复杂且缺乏专业自动化测试团队的项目。对于希望快速落地自动化流程的企业和个人来说，Midscene 是一个极具价值的选择。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具，Keycode 信息在线工具，online
JavaScript 字符串转义/反转义；Java 风格 \uXXXX（Native2Ascii）编码与解码。 在线工具，Escape 与 Native 编解码在线工具，online
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具，JavaScript / HTML 格式化在线工具，online
Terser 压缩、变量名混淆，或 javascript-obfuscator 高强度混淆（体积会增大）。 在线工具，JavaScript 压缩与混淆在线工具，online