摘要：我们介绍的 Mind2Web 是第一个用于开发和评估通用网络代理的数据集，它可以按照语言指令完成任何网站上的复杂任务。现有的网络代理数据集要么使用模拟网站，要么只涵盖有限的网站和任务，因此不适合通用网络代理。Mind2Web 从横跨 31 个领域的 137 个网站中收集了 2000 多个开放式任务，并为这些任务提供了众包动作序列，为构建通用网络代理提供了三个必要因素： 1）不同的领域、网站和任务；2）使用真实世界的网站，而不是模拟和简化的网站；3）广泛的用户交互模式。基于 Mind2Web，我们对使用大型语言模型（LLM）构建通用网络代理进行了初步探索。虽然现实世界网站的原始 HTML 通常过于庞大，无法将其输入 LLM，但我们的研究表明，首先使用小型语言模型对其进行过滤，可以显著提高 LLM 的效果和效率。我们的解决方案表现出了相当不错的性能水平，即使是在模型从未见过的网站或整个域上也是如此，但在实现真正通用的代理方面仍有很大的改进空间。我们开源了我们的数据集、模型实现和训练过的模型（本 https URL），以促进对构建网络通用代理的进一步研究。