大模子的新熟识来了！近日，来自卡内基梅隆大学的磋商东谈主员发布了评估 LLM 多模态 Web 代感性能的基准测试。大模子（LLM）的多模态和 Agent 智商被作念成基准测试了！以后哪个 LLM 再掌捏不了多模态，干不了 Agent国产 视频，皆不好趣味趣味外出了。

近日，来自卡内基梅隆大学（CMU）的磋商东谈主员发布了一个评估多模态 Web 代感性能的基准测试。

论文地址：https://arxiv.org/ pdf / 2401.13649.pdf代码和任务集：https://github.com/ web-arena-x / visualwebarena

多模态和代理皆是 AI 的发展趋势，咱们之前也报谈过好多有关责任，比如匡助东谈主类惩办网上购物、会议等闲居任务，比如匡助东谈主类检修「舞弊」，还有近来风头正盛的 AI 机器东谈主，亦然东谈主类在物理宇宙的代理。

而为了教师 AI 掌捏这项智商，磋商东谈主员破耗了好多心血，比如和洽宇宙各地的著名实验室，分享机器东谈主的教师和操作数据，比如建造了对应于真确宇宙的模拟用具来教师 Agent。

而此次，CMU 的磋商东谈主员带来了 LLM 的检修尺度，VisualWebArena。VisualWebArena 由一组基于 Web 的各样化和复杂的任务构成，这些任务评估自主多模式代理的各式功能：

如上图所示，这个基准测试中引入了 910 个新任务，这些任务来自于分类告白、购物和 Reddit 网站上。

分类网站是一个新环境（具有真确宇宙的数据），而购物和 Reddit 网站与 WebArena 中使用的网站疏导。

为了实行这个基准测试，代理（LLM）需要准确惩办图像文本输入，解释当然谈话指示，并在网站上实行操作以末端用户界说的方向。比如在维基百科中搜索：

在 Reddit 上搜索、浏览和指摘：

在交往网站上查阅和磋商思要购买的商品，同期小手一抖，给个五星：

比如一条龙完成线上购物：

新的基准测试引入的任务需要视觉汇注，大致评估基于 Web 的环境中自主代理的视觉和推理手段。

为了评估 VisualWebArena 的性能，磋商东谈主员在 WebArena 的功能评估范式中引入了新的基于视觉的评估见解。

上图展示了几个评估示例国产 视频，通过运行基于实行的测试，不错全面评估开放式视觉基础任务上代理轨迹的正确性。

受 Set-of-Mark 指示的启发，磋商东谈主员使用 JavaScript 自动抽象网页上的每个可交互元素来实行着手预惩办要害，包含限制框和惟一 ID。

如上图所示，使用包含限制框和 ID 的带抽象屏幕截图，以及 SoM 的文本暗意样式，行为多模态模子的输入。

下图的遵循标明，SoM 暗意擢升了可导航性，并在 VisualWebArena 上末端了更高的成遵循。

磋商东谈主员对几个着手进的 LLM 和基于 VLM 指示的代理进行了基准测试，发现通盘现存的模子皆显然低于东谈主类的发达。

尽管多模态模子常常会擢升 VisualWebArena 的性能，但仍有很大的差距需要弥合。

VisualWebArena

为了确保可重迭性、真确性和细目性，VisualWebArena 框架中的通盘网站皆可行为寂寥的开源 Web 操纵程序使用。

父女乱伦

网站中可用的文本和视觉本色是从实践宇宙获得的，而代码则基于实践宇宙操纵程序中常用的开源框架。

环境和智能体不错建模为部分可不雅察的马尔可夫有诡计经由（POMDP）：E =（S，A，Ω，T），其中 S 暗意气象集，A 暗意步履集，Ω 暗意不雅测值集。

转机函数界说为 T：S × A → S，气象之间的细目性调节以动行为条目。在每个时候要害 t 中，环境皆处于某种气象 s（比如特定页面），并具有部分不雅察 o∈ Ω。

代理以 o 为条目发出操作 a ∈ A，这将导致新气象 s ∈ S，以及遵循页面的新部分不雅察 o ∈ Ω。

操作不错是在网页上实行的操作，也不错仅仅信息搜索任务的字符串输出。

终末，界说奖励函数 R ：S × A → {0，1} 来猜度任求实行的成效。在 VisualWebArena 中，要是气象调节与任务方向的盼愿一致（即方向已末端），则奖励函数在终末一步复返 1，不然复返 0。

比如在上图的第一个任务中，奖励函数评估订单是否正确下达到输入图像中提供的着实地址，并包含正确的技俩。

不雅察空间

不雅察空间 Ω 以真确的 Web 浏览体验为模子。不雅察遵循包括网页 URL、绽放的选项卡（可能是不同网站的多个选项卡）以及要点选项卡的网页本色。

在大致 25% 的任务中，方向也会波及到图像（比如上图的第一个和第三个任务）

网页本色不错用几种不同的景观暗意：

原始网页 HTML 行为文档对象模子（DOM）树，常常用于当年的自治 Web 代理责任。

网页截图，暗意为 RGB 阵列，在之前的视觉代理责任中还是确认了灵验性。

缓助功能树，提供了针对缓助时刻优化的网页本色的结构化和简化暗意，是 WebArena 用于其基线 LLM 代理的主要暗意。

本文引入的一种新的视觉暗意，灵感来自记号集（SoM）指示。关于网页上的每个可交互元素，用限制框和 ID 记号它，生成一个屏幕截图，允许可视化代理通过其惟一 ID 援用页面上的元素。

操作空间

下表转头了通盘操作类型。操作的参数是刻下不雅测值 o 中的惟一元素 ID。

比拟于预计（x，y）坐标，这种暗意的一个优点是，它允许专注于高档推理而非初级截至，因为许多 SOTA 的 VLM 和 LLM 皆莫得经过明确教师，以如斯紧密的粒度援用元素。

关于具有可走访性树暗意的代理，参数是树中的元素 ID。关于 SoM 暗意，使用刻下页面均分拨的惟一 ID。

评估

为了评估 VisualWebArena 的性能，咱们在 WebArena 的功能评估范式中引入了新的基于视觉的评估见解。这些使咱们大致全面评估开放式视觉基础任务的实行轨迹的正确性。每个任务的奖励皆是使用底下相貌的基元手工瞎想的函数。

上表为分拨奖励 r（s，a）∈ R ：S × A → {0，1} 的各式评估见解。

基于实行的奖励原语使咱们大致对各样化、实践和开放式的任务进行基准测试。

证据不同的任务场景，方向的评测不错是「完竣匹配」、「必须包括」、「必须不包括」、或者「微辞匹配」。

东谈主类发达

对比实验测量了 7 名大学生（熟悉网站的生意版块）在 VisualWebArena 任务上的成遵循。

不外因为其中的一些东谈主还协助创建了任务，为了幸免数据浮现，这里确保他们不会被分拨到我方创建的任务。

实验对每个模板一个任务进行采样，汇集了具有代表性的 230 个任务。遵循发现东谈主类在这项任务上作念得很好，总体成遵循为 88.7%。

而在剩下的 11.3% 的任务中，东谈主类犯的诞妄常常是微细的，举例莫得正确阅读任务或错过了方向的一部分。

诚然也有另一种失败模式，比如受试者在搜索 5-10 分钟后找不到相宜的帖子并毁灭，觉得任务无法完成。

参考贵寓：

https://arxiv.org/abs/2401.13649

告白声明：文内含有的对外跳转相接（包括不限于超相接、二维码、口令等样式），用于传递更多信息国产 视频，检朴甄选时候，遵循仅供参考，IT之家通盘著述均包含本声明。