OpenClaw 视觉操作实战：AI 直接点按钮操作软件

安装完成后，配置你的 AI 模型 API Key。OpenClaw 支持 OpenAI、Anthropic 的 API，也支持本地模型（比如 Ollama 跑的 Llama）。

步骤 2：启动视觉模式

OpenClaw 提供了一个浏览器控制模块。我们要启动一个特殊的 Chromium 实例，这个浏览器是独立的，跟你平时上网的浏览器完全隔离，保证安全：

# 启动 OpenClaw Gateway
openclaw gateway --browser

这会启动一个本地 HTTP 服务，通常是 http://localhost:8080，同时打开一个干净的 Chromium 浏览器窗口。

步骤 3：编写自动化脚本

接下来写个简单的自动化流程。OpenClaw 的命令行工具支持直接发送指令：

# 让浏览器导航到目标网站
openclaw browser navigate --url "https://example-admin.com/login"
# 等待页面加载完成，获取快照
openclaw browser snapshot --output login_page.json

这时候，OpenClaw 会返回一个 JSON，里面包含当前页面所有可交互元素的编号和描述。比如：

{"elements":[{"id":1,"type":"input","label":"用户名"},{"id":2,"type":"input","label":"密码"},{"id":3,"type":"button","text":"登录"}]}

然后你告诉 AI 要干嘛。OpenClaw 内置了 AI 理解层，你可以用自然语言：

# 让 AI 理解页面并执行登录（视觉模式）
openclaw browser act --instruction "在用户名框输入'admin'，密码框输入'123456'，然后点击登录按钮" --use-vision

背后的流程是：OpenClaw 截图→送给 AI 模型→AI 返回具体操作（如在元素 1 输入文字，点击元素 3）→OpenClaw 执行。

步骤 4：进阶：自动下载报表

登录后，假设我们要点进'报表中心'，下载昨天的 Excel。继续：

# AI 会自动识别'报表中心'链接并点击
openclaw browser act --instruction "找到并点击'报表中心'或'Reports'链接" --use-vision
# 等待页面加载
sleep 2
# 选择日期（假设有个日期选择器）
openclaw browser act --instruction "在起始日期选择昨天的日期，格式 2026-03-03" --use-vision
# 点击下载按钮
openclaw browser act --instruction "点击下载 Excel 或 Export 按钮" --use-vision
# 等待下载完成，移动文件到指定目录
openclaw exec --command "mv ~/Downloads/yesterday_report.xlsx ~/data/daily/"

看到没？全程没写一行 CSS 选择器，全靠 AI'看'页面自己找按钮。这就像你雇了个实习生，你跟他说'去把那个红色的下载按钮点了'，而不是给他写一份《按钮定位坐标说明书》。

四、不止浏览器：桌面软件也能点

OpenClaw 的视觉能力不仅限于网页。通过集成计算机视觉和 OCR，它还能操作桌面应用。

比如你有个老旧的 ERP 客户端，没有 API，只有个 Windows 界面。传统自动化得靠 PyAutoGUI 硬编码坐标，屏幕分辨率一变就完蛋。OpenClaw 的做法是：

1. 截取屏幕快照
2. OCR 识别文字和按钮位置
3. AI 理解'文件'菜单在哪，'导出'按钮在哪
4. 模拟鼠标点击和键盘输入

配置方式类似，只是指令变成：

# 截图并识别桌面应用
openclaw desktop snapshot --app "ERP Client"
# 执行操作
openclaw desktop act --instruction "点击菜单栏的'文件'，然后选择'导出数据'"

这种方式甚至能操作远程桌面、虚拟机里的软件，只要能看到画面，AI 就能操作。

五、定时任务：让 AI 自己起床干活

最爽的是，OpenClaw 支持Heartbeat（心跳）机制。你可以设置定时任务，让 AI 在特定时间自动执行操作，完全不需要你盯着。

编辑 config/heartbeat.yml：

tasks:
- name: "每日数据抓取"
  schedule: "0 9 * * *"
  actions:
  - type: browser
    instruction: "登录后台，下载昨日销售报表"
  - type: command
    instruction: "分析报表数据，生成摘要"
  - type: notify
    instruction: "把摘要发到我的 Telegram"

这样，每天早上 9 点，你的电脑就像有个隐形的员工，自动开机（如果你设置了唤醒），打开浏览器，登录网站，下载文件，分析数据，最后给你发条消息汇报：'老板，昨天的销售额是 5 万，比前天涨了 10%。'

六、数据安全：你的隐私留在本地

很多人担心：让 AI 看我屏幕，数据会不会泄露？

OpenClaw 设计之初就强调本地优先（Local-First）。所有操作都在你自己的机器上完成，截图不会上传到云端，除非你用了第三方的 AI API（比如调用 Claude 分析图片）。但即使你调用了 API，你也可以选择本地模型，比如用 Ollama 跑个 Llama 3.2 Vision，完全离线运行。

另外，OpenClaw 的浏览器是独立的 Chromium 实例，跟你平时用的 Chrome 完全隔离。它看不到你的收藏夹、密码、Cookie。你可以在隔离环境里登录工作账号，而你的个人浏览记录完全不受影响。

七、避坑指南：新手常踩的雷

虽然 OpenClaw 很强大，但新手用视觉操作时也容易踩坑：

1. 动态加载的坑

有些网页是懒加载的，一开始没那么多元素，滚动才出现。这时候直接截图，AI 可能找不到目标。解决方法是先让 AI 执行滚动：

openclaw browser act --instruction "向下滚动直到看到'加载更多'按钮"

2. 弹窗处理

遇到系统弹窗（比如下载确认框），浏览器层面的 Snapshot 可能捕捉不到。这时候需要用到桌面视觉模式，而不是浏览器模式。

3. API 额度控制

视觉操作需要把截图发给 AI 模型分析，一张图可能几百 KB，频繁操作会很快消耗 API 额度。建议本地部署视觉模型，或者控制操作频率。

4. 元素编号会变

每次页面刷新，元素的编号 [12] 可能会变。别硬编码编号，要让 AI 每次都重新看页面找元素。

八、总结：从'码农'到'监工'

OpenClaw 的视觉操作模式，本质上改变了我们和软件交互的方式。以前，你要让电脑干活，得先学会它的语言——HTML、CSS、XPath、API 文档。现在，你可以用人类的语言指挥 AI，让 AI 去学软件的语言，帮你点按钮、填表单、抓数据。

这就像工业革命，以前你要自己纺纱织布，后来有了机器，你只需要操作机器。现在更进一步，你连机器都不用自己操作，告诉 AI'去织块布'，它就自己去踩缝纫机了。

当然，AI 现在还不够完美，偶尔会认错按钮，或者遇到复杂的验证码搞不定。但相比以前写几百行选择器代码，现在的工作量已经减少了 90%。剩下的 10%，你坐在旁边喝咖啡，看着 AI 干活，偶尔纠正一下它的错误，从'码农'升级成了'监工'。

如果你经常遇到那种'没有接口，只能手动点'的重复性工作，不妨试试 OpenClaw。反正代码是开源的，搭个环境试试不要钱。说不定试完之后，你会发现：原来那些枯燥的重复劳动，真的可以交给一个不知疲倦的数字长工来完成。