新Siri解锁万能Agent?魔搭开源移动端框架Mobile-Agent-v2抢先体验!

简介: 在刚结束的苹果全球开发者大会WWAC上,Apple家族AI全家桶 「Apple Intelligence」亮相,库克宣布个人智能系统将应用于新版本的 iPhone、iPad 和 Mac 操作系统。

在刚结束的苹果全球开发者大会WWAC上,Apple家族AI全家桶 「Apple Intelligence」亮相,库克宣布个人智能系统将应用于新版本的 iPhone、iPad 和 Mac 操作系统。未来,新Siri将脱胎换骨,在Apple Intelligence的系统支撑下,拥有更丰富的语言理解能力、更灵活地日常任务处理能力。结合屏幕感知功能,新Siri可以让用户轻松执行与屏幕上的信息相关操作,比如把聊天信息中收到的地址自动添加到朋友的通讯录里。由此,Siri 可以在应用程序中或跨应用程序执行数百项新操作,此次更新依赖于苹果今年四月份低调发布的一项工作——多模态大语言模型(MLLM) Ferret-UI,针对移动用户界面(UI)屏幕的理解进行优化,其具备引用、定位和推理能力。

类似的工作,在今年二月份,由阿里通义实验室提出的手机端智能体开源框架Mobile-Agent,即可实现一句指令输入,AI可以作为智能中枢,根据指令在手机上自动规划和操作各种APP。

image.gif

Mobile-Agent凭借强劲的自动化手机操作能力迅速在AI领域和手机制造商中引起广泛关注。短短五个月内,已在Github获得了2,000个Star。该系统采用纯视觉方案,通过视觉感知工具和操作工具完成智能体在手机上的操作,无需依赖任何系统级别的UI文件。得益于这种智能体中枢模型的强大,Mobile-Agent实现了即插即用,无需进行额外的训练和探索。

近日,团队推出了新版本Mobile-Agent-v2,并列举了几大改进亮点:继续采用纯视觉方案、多智能体协作架构、增强的任务拆解能力、跨应用操作能力以及多语言支持。目前,Mobile-Agent-v2的论文和代码已经发布,详情链接如下:

此外,ModelScope-Agent现已集成了Mobile-Agent-v2,详情请参考以下链接:https://github.com/modelscope/modelscope-agent。根据魔搭团队发布的演示视频,ModelScope-Agent拥有了使用Mobile-Agent-v2完成自动化打车的能力。用户只需输入目的地,ModelScope-Agent即能通过规划、决策和优化等过程,为用户完成叫车服务。

  612.1 -middle-original.gif

作者团队在社交媒体和Github发布了一系列展示Mobile-Agent-v2在手机上实操的视频。下面的视频中展示了一个跨应用操作的实例。首先,用户需要Mobile-Agent-v2查看聊天软件中的未读消息并执行相关任务。

Mobile-Agent-v2根据指令先打开了WhatsApp,查看了来自 "Ao Li" 的消息。消息内容要求在TikTok上找到一个与宠物相关的视频并分享。于是,Mobile-Agent-v2退出WhatsApp,进入TikTok开始浏览视频。在发现一个宠物猫的视频后,它点击分享按钮,将视频链接发送给了 "Ao Li"。

 

image.gif

以下是一个在社交媒体应用中的示例。用户要求Mobile-Agent-v2在X(推特)上搜索名人“马斯克”,然后关注他并评论他发布的一条帖子。由于社交媒体应用通常文字繁多,且UI布局复杂,这使得操作难度较大。

然而,从视频中可以看到,Mobile-Agent-v2精准地执行了每一步操作。尤其是在点击关注按钮后,推荐用户弹窗遮挡了原推文,但Mobile-Agent-v2通过上划屏幕,顺利完成了评论任务。

 


接下来是关于在同样复杂的长视频平台YouTube上操作的示例。从展示的视频可以看出,Mobile-Agent-v2在处理社交媒体和视频平台方面表现得非常出色。

 

image.gif

 

中文应用小红书和微信提供了先进的用户互动体验。例如,小红书允许用户不仅能搜索各种攻略,还可以随时发表评论。微信则方便用户进行高效的消息回复。Mobile-Agent-v2在这两大平台上具备强大的功能,它能够根据微信消息的内容自动生成回复,同时还能依据小红书帖子的具体内容发表相关评论。这样一来,用户就能享受到更加智能化的互动服务。

 

image.gif

 

Mobile-Agent-v2的技术实现将在下面进行介绍。在手机操作任务中,智能体通常需要通过多步骤来满足任务需求。每步操作时,必须跟踪当前任务的进展,即了解先前完成的要求,从而推断出依据用户指令进行的下一步操作。而操作历史记录,每一步包含的具体操作和对应的屏幕状态,都会被保存下来。然而,随着操作次数的增加,这些历史记载会不断变长。操作历史因图文交错的格式,使得任务进度的跟踪变得更加复杂。

正如下面的图例所展示的,经过7轮操作后,输入的操作历史序列长度已经超过了一万个token,图文交错的格式显著加大了智能体追踪任务进度的难度。

image.gif


Mobile-Agent-v2为了缓解任务处理中的困境,采用了规划智能体,如图所示,其角色是为操作智能体提供任务的进度。这一智能体将冗长的操作记录转换为简洁的纯文本,从而简化任务追踪。然而,这种简化方法导致了屏幕信息的丢失,使得决策智能体无法从历史屏幕中获取关键信息。

在一些任务中,智能体需要查看天气并撰写穿衣指南。生成指南时,智能体需要依赖历史屏幕中的天气信息。因应这一需求,Mobile-Agent-v2设计了记忆单元,由决策智能体负责更新与任务相关的信息。此外,由于决策智能体无法直接观察操作后的屏幕信息,系统还引入了反思智能体,用于监测并评估决策智能体操作前后的屏幕状态变化,确保操作的正确性。

image.gif


本文采用了一种动态评估方法,对五个系统内置应用和五个第三方应用进行了测试,测试范围涵盖了英文和非英文应用。在每个应用中,设计了两类指令:基础指令和进阶指令。另外,跨应用操作的指令也包括两条基础指令和两条进阶指令。

评估结果如表所示,详细展示了不同语言场景中的表现。从结果中可以看出,Mobile-Agent-v2在多项指标上,无论在英文还是非英文场景,都表现出了全面的提升。此外,通过人为增加操作知识(Mobile-Agent-v2 + Know.),性能得到了进一步的增强。

image.gif

image.gif


在本文中,作者通过消融实验结果(如下表所示)展示了去除规划智能体、决策智能体和记忆单元后的性能下降。

image.gif


随后,通过对操作失败任务的分析(如下图所示),作者发现Mobile-Agent在任务后期失败的操作占比较高,而Mobile-Agent-v2则显示出更均匀的失败分布,这表明Mobile-Agent-v2在处理长序列任务方面更为有效。

image.gif


最后,文章还展示了一个完整的操作流程和一个成功反思的实例,其中包括每个角色的输出。更多实例详见文章的最后部分。

image.gif


更多Mobile-Agent技术细节,欢迎预约6.19AI模型社直播专场详析

 

点击链接👇直达开源地址

https://github.com/X-PLUG/MobileAgent

相关文章
|
13天前
|
存储 人工智能 自然语言处理
AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望
【7月更文挑战第2天】AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望
AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望
|
22天前
|
API 异构计算
开源模型破局OpenAI服务限制,15分钟灵活搭建RAG和Agent应用
今天,我们做了两个实验,目标在15分钟内,完成下载社区的开源模型,部署成API,替换LlamaIndex中RAG和LangChain中OpenAI接口Agent的最佳实践,并取得符合预期的结果。
|
2月前
|
Kubernetes 安全 Go
对于阿里开源混沌工程工具chaosblade-box-agent心跳报错问题的分析与解决
摘要: 本文记录了一个由chaosblade-box平台后台发现的偶发的chaosblade-box-agent不发送心跳的问题,从报错日志入手,结合chaosblade-box-agent源码进行分析,最终解决问题并修复打包的过程。
282 7
|
2月前
|
开发框架 API 决策智能
ModelScope-Agent框架再升级!新增一键配置多人聊天,配套开源多智能体数据集和训练
ModelScope-Agent是魔搭社区推出的适配开源大语言模型(LLM)的AI Agent(智能体)开发框架,借助ModelScope-Agent,所有开发者都可基于开源 LLM 搭建属于自己的智能体应用。在最新升级完Assistant API和Tool APIs之后,我们又迎来了多智能体聊天室的升级,通过几分钟快速配置即可搭建一个全新的聊天室。
|
2月前
|
存储 搜索推荐 前端开发
变革来袭!多Agent框架MuAgent带你解锁代码开发新姿势
在这个信息技术爆炸的时代,我们都知道大型语言模型(LLM)拥有处理复杂问题的能力,但当遇到编程难题这种更高级的挑战时,单独的LLM Agent可能就不够看了。社区里动起了脑筋,玩出了新花样——组合多个Agent来应对高难度挑战!正如Multi Agent的构建过程所示,与其说我们是在设计Agents,不如说是对当前需求的深入理解后去构建出一条专属于某个场景的SOP。
287 2
|
2月前
|
人工智能 API 决策智能
【AI Agent系列】【阿里AgentScope框架】实战1:利用AgentScope实现动态创建Agent和自由组织讨论
【AI Agent系列】【阿里AgentScope框架】实战1:利用AgentScope实现动态创建Agent和自由组织讨论
403 2
|
2月前
|
人工智能 决策智能
【AI Agent系列】【阿里AgentScope框架】3. 深入源码:Pipeline模块如何组织多智能体间的数据流?- 顺序结构与条件分支
【AI Agent系列】【阿里AgentScope框架】3. 深入源码:Pipeline模块如何组织多智能体间的数据流?- 顺序结构与条件分支
99 2
|
2月前
|
人工智能 决策智能 C++
【AI Agent系列】【阿里AgentScope框架】5. Pipeline模块的组合使用及Pipeline模块总结
【AI Agent系列】【阿里AgentScope框架】5. Pipeline模块的组合使用及Pipeline模块总结
131 1
|
2月前
|
人工智能 决策智能 C++
【AI Agent教程】【MetaGPT】案例拆解:使用MetaGPT实现“狼人杀“游戏(1)- 整体框架解析
【AI Agent教程】【MetaGPT】案例拆解:使用MetaGPT实现“狼人杀“游戏(1)- 整体框架解析
384 1
|
2月前
|
数据采集 人工智能 前端开发
【AI Agent系列】【MetaGPT多智能体学习】2. 重温单智能体开发 - 深入源码,理解单智能体运行框架
【AI Agent系列】【MetaGPT多智能体学习】2. 重温单智能体开发 - 深入源码,理解单智能体运行框架
297 1