LLM Agent 在互联网冲浪场景中涉及多种 WebAgent 数据集与评估方案。主要涵盖 MiniWoB++、MIND2WEB、WEBARENA、WebVoyager、WebLINX 及 AutoWebGLM。MiniWoB++ 为模拟环境，指令低级；MIND2WEB 使用真实网页静态数据，支持高级任务；WEBARENA 构建动态仿真环境；WebVoyager 结合多模态模型 GPT4-V 进行交互；WebLINX 引入多轮对话；AutoWebGLM 提出高质量微调数据集与多阶段训练策略。评估指标包括元素准确率、操作 F1、任务成功率等。AutoWebGLM 通过 SFT、RL、RFT 多阶段训练在 AutoWebBench 上表现优异。技术趋势从模拟到真实、从低级指令到自然语言、从文本到多模态演进。
本章介绍能自主浏览操作网页的 WebAgent 及相关评估数据集，涵盖从初级任务到复杂多模态交互的多个主流评测集，包括 MiniWoB++、MIND2WEB、WEBARENA、WebVoyager、WebLINX 和 AutoWebGLM。
这篇论文发表于 2018 年，是 WebAgent 领域早期的经典工作。MiniWoB++ 是基于 gymnasium 的模拟 Web 环境，它在 OpenAI 的 MiniWoB 数据集上补充了更多复杂交互和可变页面行为，最终得到 100 个网页交互的评测集。
MiniWoB++ 数据集的局限性明显：
MIND2WEB 数据集在 MiniWoB++ 基础上做了显著改良：
一个典型样本的任务指令为'Check for pickup restaurant available in Boston, NY on March 18, 5pm with just one guest'，Label 是完成该指令的行为序列。每一步行为由 (Target Element, Operation) 构成，支持三种最常用的操作：CLICK、TYPE、SELECT。
Mind2WEB 采用了 4 个评估指标：
Mind2WEB 数据集的主要局限性是只有数据采集时的网页静态页面 HTML，没有后续行为的动态交互数据。
MindAct 框架因为是单一文本模态，因此使用 HTML 代码和 DOM 文件来作为网页的观测数据。框架比较简单，由两个部分组成：元素排序生成候选，基于候选的多项选择生成行为。
针对 Mind2WEB 只和静态网站状态交互的问题，WEBARENA 通过构建仿真网站，构建了真实、动态并且可复现的网络环境来和智能体进行交互。论文选择了电商、论坛、GitHub、CMS 等四类网站类型，并使用网站真实数据来构建模拟环境。
相比 Mind2WEB 的 3 种常见交互，WEBARENA 支持更多的交互操作，并且因为是动态页面因此支持多 Tab 切换的操作。
数据集构成：
评估指标上相比 Mind2WEB，WEBARENA 同样使用 task success rate 作为评估指标，把 token-level 的 F1 计算进行了优化，加入了 operation 是否正确的检测方案。核心就是部分操作需要键入内容，而这部分内容不能直接和标注做精准匹配，因此 WEBARENA 分成了需要精准匹配的答案 (exact match)、只要包括核心信息即可 (must include) 和基于大模型做语义相似判断的 (fuzzy match) 这三类评估类型，对不同的样本进行评估。
同样是动态网页交互，WebVoyager 没有采用模拟网页数据，而是使用直接操控 Web 浏览器行为和真实网页进行交互。于是同时满足了动态交互和真实网络环境的要求。
论文选取了 15 个有代表性的网站：Allrecipes, Amazon, Apple, ArXiv, BBC News, Booking, Cambridge Dictionary, Coursera, ESPN, GitHub, Google Flights, Google Map, Google Search, Huggingface, and Wolfram Alpha。
指令样本是基于 Mind2Web 的数据集作为种子，然后基于 GPT4 使用 Self-Instruct 来生成新的任务指令，最后使用人工校验和筛选。最终得到了每个网站 40+ 的指令，总共 643 个评估任务。
评估指标和 WebArena 保持一致，都是采用任务成功率作为评估指标。
这里简单说下 Agent 实现，WebVoyager 和前面数据集的主要差异是加入了多模态模型 GPT4-V 的尝试。不再使用 Accessibility Tree 的文本输入，而是直接和网页的 snapshot 进行交互。
论文采用了 Set-of-Mark Prompting 的技术，来解决 GPT4-V 模型 visual grounding 的问题（模型对图片中细粒度物体的区分度有限，当输出是图片中局部物体例如按钮时准确率不高的问题）。SOM 是先用 SAM 等分割模型对图片进行分割，这里主要是识别出图片上可交互的按钮和区域，使用 bounding box 进行圈选，并使用序号对区域进行标记。通过标记来帮助 GPT4-V 更精准的识别可交互区域。
论文使用了 JS DOM auto-labeler 来识别网页中的所有可交互元素并进行标记，来作为 GPT4-V 的输入。然后基于上面的标记图片输入，和以下 ReACT 的 prompt 指令，让 GPT4V 生成每一步的交互操作。基于模型推理结果会直接操作网页，并获取新的网页 snapshot 作为下一步的输入。
对比前面的 MIND2WEB、WebArena 和 WebVoyager，WebLINX 加入了和用户的多轮对话交互，也就是从自主智能体向可交互智能体的转变。虽然放弃了完全自主，但有了人类的监督，可能可以达到更高的任务完成度。
WebLINX 的数据集包括 8 大类，50 个小类总共 155 个真实网页，总共构建了 2337 个指令样本。因为是对话式交互，所以指令类型会和以上的几个数据集存在明显的差异，不再是任务型指令而是步骤操作型的指令。
Agent 部分论文更多是对比了文本模态 vs 多模态，微调 vsprompt 的效果，实现细节不太多这里就不细说了。
AutoWebGLM 是智谱最近发布的 WebAgent 论文，包括比较全面的微调数据集构建和微调方案，并发布了新的评测集。论文提出 AutoWebGLM 的数据集有三个主要优点：
AutoWebGLM 的微调数据集包含由易到难的三种任务：Web Recognition、Single-step task、Multi-step task。这里也是纯 HTML 文本模态的数据集。除了以下全新的三类样本，论文还合并了 MiniWoB++ 和 Mind2Web 的训练集。
网页识别样本构建，是直接从 HTML 中提取可交互元素，然后基于元素构建简化的 HTML 输入。然后 Input 是网页元素功能的相关提问，输出是 GPT 的回答，例如'Search Bar 是用来干什么的'，模型回答'它是用来帮助用户搜索产品的'。这部分样本用来帮助模型理解 HTML。
简单任务是单步操作的网页交互。这里论文的构建比较巧妙，考虑到之前的论文已经论证了即便是 GPT4 在 WebAgent 这个任务上的执行准确率也有限，那直接使用 GPT4 来构建样本肯定是不可行的。因此论文采用了反向标注，既基于 HTML 中抽取出的可交互元素例如'scroll_page('down')'，让 GPT4 来反向生成对应的意图和用户指令，例如'我需要向下滑网页浏览更多'。这样可以得到准确率更高的样本，模型生成意图和指令的 prompt 如下。
复杂任务涉及和网页的多步交互。这里论文使用了 Evol-Instruct 来构建复杂任务指令，每个网页模型生成 50 个指令，再人工筛选 20 个。
考虑模型生成准确率不高，这里得多步交互，论文使用人工执行，并用浏览器插件捕捉用户交互行为的方案。这里为了在行为链路之外，同时获得模型 COT 思考链路，用来提高后面的模型训练效果。论文使用以下 prompt，让大模型基于人工完整的行为链路，生成每一步的执行意图。
最终的 AutoWebBench 评测集只使用了多步任务的子集，也就是复杂指令来评测模型效果。
基于以上的训练数据，论文采用了多阶段训练微调 ChatGLM3：
效果上在 AutoWebBench 上，微调后的 6B 模型可以显著超过 GPT4，和更大的 Llama2 基座模型，拥有更高的任务单步执行成功率。
同时论文做了消融实验来验证以上多阶段微调和三种训练样本的效果。实验显示，由易到难的训练数据对模型有较大提升，RFT 在进一步训练的 MiniWob++ 和 WebArena 上有显著提升，但 RL-DPO 的效果不太明显。
通过对上述主流 WebAgent 数据集的分析，可以看出 WebAgent 技术的发展脉络：
未来，WebAgent 将更加注重在开放互联网环境下的鲁棒性、安全性以及跨域任务泛化能力。随着多模态大模型的持续进步，结合浏览器自动化技术的智能体有望在办公自动化、信息检索、在线交易等场景中发挥更大作用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
