SAFEARENA: 评估自主网络代理的安全性
基于大语言模型的智能体在解决基于网络的任务方面正变得越来越熟练。随着这一能力的增强，也随之带来了更大的被恶意利用的风险，例如在在线论坛上发布虚假信息，或在网站上销售非法物质。为了评估这些风险，我们提出了SAFEARENA，这是第一个专注于故意滥用网络代理的基准测试。SAFEARENA包含四个网站上共计500个任务，其中250个是安全的，250个是有害的。我们将有害任务分为五类：虚假信息、非法活动、骚扰、网络犯罪和社会偏见，旨在评估网络代理的真实滥用情况。我们对包括GPT-4o、Claude-3.5 Sonnet、Qwen-2-VL 72B和Llama-3.2 90B在内的领先基于大语言模型的网
