本文介绍了 LLM Agent 在互联网交互领域的六个主流数据集及评估方案，涵盖 MiniWoB++、Mind2Web、WebArena、WebVoyager、WebLINX 和 AutoWebGLM。对比了静态模拟环境与真实动态网页的差异，分析了文本模态与多模态模型在 Web 操作中的表现，并探讨了基于强化学习与微调的训练策略。最后总结了当前 Web Agent 面临的技术挑战与未来发展方向。
本章介绍能自主浏览操作网页的 WebAgent 们和相关的评估数据集，包含初级任务 MiniWoB++，高级任务 MIND2WEB，可交互任务 WEBARENA，多模态 WebVoyager，多轮对话 WebLINX，和复杂任务 AutoWebGLM。
这两年 WebAgent 的论文里几乎都能看到这个评测集的影子，但这篇论文其实是 2018 年就发表了。所以这里我们只介绍下数据集的信息。
MiniWoB++ 是基于 gymnasium 的模拟 web 环境，它在 OpenAI 的 MiniWoB 数据集上补充了更多复杂交互、可变页面等网页交互行为，最终得到的100 个网页交互的评测集。一些组件的 Demo 示例如下：
MIND2WEB 数据集在 MiniWoB++ 数据集上做了以下几点改良：
让我们来具体看一个样本，任务指令=Check for pickup restaurant available in Boston, NY on March 18, 5pm with just one guest，Label 是完成该指令的行为序列，每一步行为由 (Target Element, Operation) 构成，这里支持三种最常用的 OPCLICK, TYPE, SELECT，行为序列如下：
MIND2WEB 采用了 4 个评估指标：
Mind2WEB 数据集主要局限性是只有数据采集时的网页静态页面 HTML，没有后续行为的动态交互数据
MINDAct 框架因为是单一文本模态，因此使用 HTML 代码和 DOM 文件来作为网页的观测数据，框架比较简单由两个部分组成：元素排序生成候选，基于候选的多项选择生成行为。
这里论文是通过随机负样本采样，训练了 DeBERTa 模型作为排序模型，测试集 Top50 召回在 85%+。
之后会基于Top-K 候选，裁剪 HTML，和历史的 Action，选择下一步的 Action 和 Value。于是基于复杂 HTML 直接生成 Action 和 Value 的复杂任务，被简化成了多项选择的 QA 任务。这里论文是微调了 Flan-T5 来完成多项选择任务，也同时对比了直接使用 GPT3.5 和 GPT4。
针对 Mind2WEB 只和静态网站状态交互的问题，WEBARENA 通过构建仿真网站，构建了真实、动态、并且可复现的网络环境来和智能体进行交互。论文选择了电商，论坛，github，CMS 等四类网站类型，并使用网站真实数据来构建模拟环境。
并且对比 Mind2WEB 的 3 种常见交互，支持更多的交互操作，并且因为是动态页面因此支持多 tab 切换的操作，支持的 operation 类型如下：
评估指标上相比 Mind2WEB，WEBARENA 同样使用 task success rate 作为评估指标，把 token-level 的 F1 计算进行了优化，加入了 operation 是否正确的检测方案。核心就是部分操作需要键入内容，而这部分内容不能直接和标注做精准匹配，因此 WEBARENA 分成了需要精准匹配的答案 (exact match), 只要包括核心信息即可（must include）和基于大模型做语义相似判断的 (fuzzy match) 这三类评估类型，对不同的样本进行评估。
同样是动态网页交互，WebVoyager 没有采用模拟网页数据，而是使用直接操控 web 浏览器行为和真实网页进行交互。于是同时满足了动态交互和真实网络环境的要求。
论文选取了15 个有代表性的网站：Allrecipes, Amazon, Apple, ArXiv, BBC News, Booking, Cambridge Dictionary, Coursera, ESPN, GitHub, Google Flights, Google Map, Google Search, Huggingface, and Wolfram Alpha。
指令样本是基于 Mind2Web 的数据集作为种子，然后基于 GPT4 使用 Self-Instruct 来生成新的任务指令，最后使用人工校验和筛选。最终得到了每个网站 40+ 的指令，总共 643 个评估任务。
评估指标和 WebArena 保持一致，都是采用任务成功率作为评估指标。
这里简单说下 agent 实现，WebVoyager 和前面数据集的主要差异是加入了多模态模型 GPT4-V 的尝试。不再使用 accessibility Tree 的文本输入，而是直接和网页的 snapshot 进行交互。
这里论文采用了 set-of-Mark Prompting 的技术，来解决 GPT4-V 模型 visual grounding 的问题（模型对图片中细粒度物体的区分度有限，当输出是图片中局部物体例如按钮时准确率不高的问题）。SOM 是先用 SAM 等分割模型对图片进行分割，这里主要是识别出图片上可交互的按钮和区域，使用 bounding box 进行圈选，并使用序号对区域进行标记。通过标记来帮助 GPT4-V 更精准的识别可交互区域。
这里论文使用了 JS DOM auto-labeler 来识别网页中的所有可交互元素并进行标记，来作为 GPT4-V 的输入，如下：
然后基于上面的标记图片输入，和以下 ReACT 的 prompt 指令，让 GPT4V 生成每一步的交互操作。基于模型推理结果会直接操作网页，并获取新的网页 snapshot 作为下一步的输入。
对比前面的 MIND2WEB, WebArena 和 WebVoyager，WebLINX 加入了和用户的多轮对话交互，也就是从自主智能体向可交互智能体的转变。虽然放弃了自主，但有了人类的监督，可能可以达到更高的任务完成度。
WebLINX 的数据集，包括 8 大类，50 个小类总共 155 个真实网页，总共构建了 2337 个指令样本。 因为是对话式交互，所以指令类型会和以上的几个数据集存在明显的差异，不再是任务型指令而是步骤操作型的指令，如下图：
agent 部分论文更多是对比了文本模态 vs 多模态，微调 vsprompt 的效果，实现细节不太多这里就不细说了。
AutoWebGLM 是智谱最近才发布的 webagent 论文，包括比较全面的微调数据集构建和微调方案，并发布了新的评测集。论文提出 AutoWebGLM 的数据集有三个主要优点：
AutoWebGLM 的微调数据集包含由易到难的三种任务：web recognition，single-step task，multi-step task。这里也是纯 HTML 文本模态的数据集。除了以下全新的三类样本，论文还合并了 MiniWoB++ 和 Mind2Web 的训练集。
网页识别样本构建，是直接从 HTML 中提取可交互元素，然后基于元素构建简化的 HTML 输入。然后 Input 是网页元素功能的相关提问，输出是 GPT 的回答，例如"Search Bar 是用来干什么的'，模型回答'它是用来帮助用户搜索产品的'。这部分样本用来帮助模型理解 HTML。
简单任务是单步操作的网页交互。这里论文的构建比较巧妙，考虑到之前的论文已经论证了即便是 GPT4 在 webagent 这个任务上的执行准确率也有限，那直接使用 GPT4 来构建样本肯定是不可行的。因此论文采用了反向标注，既基于 HTML 中抽取出的可交互元素例如'scroll_page('down')'，让 GPT4 来反向生成对应的意图和用户指令，例如我需要向下滑网页浏览更多。 这样可以得到准确率更高的样本，模型生成意图和指令的 prompt 如下：
复杂任务涉及和网页的多步交互。这里论文使用了 Evol-Instruct 来构建复杂任务指令 (不熟悉的同学看这里)，每个网页模型生成 50 个指令，再人工筛选 20 个。
考虑模型生成准确率不高，这里得多步交互，论文使用人工执行，并用浏览器插件捕捉用户交互行为的方案。这里为了在行为链路之外，同时获得模型 COT 思考链路，用来提高后面的模型训练效果。论文使用以下 prompt，让大模型基于人工完整的行为链路，生成每一步的执行意图。
最终的 AutoWebBench 评测集只使用了多步任务的子集，也就是复杂指令来评测模型效果。
基于以上的训练数据，论文采用了多阶段训练微调 ChatGLM3：
效果上在 AutoWebBench 上，微调后的 6B 模型可以显著超过 GPT4，和更大的 LLAMA2 基座模型，拥有更高的任务单步执行成功率。
同时论文做了消融实验来验证以上多阶段微调和三种训练样本的效果。实验显示，由易到难的训练数据对模型有较大提升，RFT 在进一步训练的 miniWob++ 和 WebArena 上有显著提升，但 RL-DPO 的效果不太明显。
通过对上述六个主流 WebAgent 数据集及方案的梳理，我们可以清晰地看到该领域的发展脉络与技术挑战。
尽管进展显著，WebAgent 仍面临诸多挑战：
未来研究可重点关注以下方向：
综上所述，LLM Agent 在互联网冲浪领域的应用正处于快速发展期，随着多模态技术与强化学习的深度融合，未来的 WebAgent 将更加智能、可靠且具备广泛的场景适应能力。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
