“今日热点:AI像人类一样使用手机和电脑”,魔搭社区的开源项目已先行一步

简介: 今天,Claude发布了Computer Use的新功能,可以让AI像人一样使用电脑!

今天,Claude发布了Computer Use的新功能,可以让AI像人一样使用电脑!

在官方提供的填写表格的例子中,涉及到的数据分散在了电脑不同的位置,如果人工挨个寻找费时费力。

现在,你只需要跟Claude说一声需求,它就会先“看”屏幕,发现所需要的数据不在这份表格里,马上掉头去CRM搜索所需数据。找到匹配的信息之后,Claude就会自己滚动网页,最后把对应的数据填写到相应的表格栏中。

而整个演示的过程,无需人类任何的参与!让大家感受到了什么叫做“生产力的极大提升”!但也有一线开发者热评:

让我们也来顺势回顾一下Mobile-agent:

通义NLP实验室联合魔搭社区在今年2月份推出了Mobile-Agent框架(开源地址:https://github.com/X-PLUG/MobileAgent),在手机端和PC端实现了高级的RPA(Robotic Process Automation)功能。Mobile-Agent通过纯视觉方案,利用视觉感知工具和操作工具,实现了智能体在手机上的自动化操作,无需依赖系统级别的UI文件,展现了即插即用的能力。Mobile-Agent的推出,迅速在AI领域和手机制造商中引起了广泛关注。让我们看下官方和开发者出的一些demo:

案例1:PC端自主化操作

  • 通过浏览器访问网页并下载保存文件
  • 在Microsoft Word中创建新文档、编辑文本及保存文件
  • 通过浏览器访问网页并复制文字发送消息给阿里钉

0bc35aaaoaaa6yalqoiy -small-original.gif

好的标题可以获得更多的推荐及关注者


案例2:一句指令操作手机

  • 帮你点奶茶
  • 帮你打微信视频电话
  • 帮你搜索旅游攻略并发给自己微信好友

0b2ebiaauaaayyali2yy -small-original.gif

好的标题可以获得更多的推荐及关注者


案例3:智能抓药机械臂

它可以通过语音对话了解用户病症并思考合适的药品,通过视觉理解模型识别不同药品,然后驱动机械臂抓取药物到指定的盘子。

image.png


好的标题可以获得更多的推荐及关注者

在大模型加持下,AI硬件正当时。

成熟终端手机、汽车、电脑等正加装AI能力作为新卖点,同时,新的硬件形态层出不穷,如Meta-Ray Glass、Rabbit R1、Plaud Note的先行者已创造销量奇迹;AI玩具、AI穿戴设备、AI教育工具、AI机器人各个赛道也是群雄角逐。

中国电子产业链成熟,加上AI能力后更显生机勃勃。在此节点,魔搭社区、阿里云、英特尔共同发起「2024 AI+硬件创新大赛」,一起推动AI硬件的创新创业,孵化和助力下一个现象级AI+硬件产品。奖金池总共50万!欢迎各位开发者组队参与这次比赛!


比赛详情:https://startup.aliyun.com/aihackathon/ai3c

One More Thing

如果想跟Mobile-Agent作者团队面对面沟通,还可以报名参加上海场沙龙~


   往期回顾


点击链接👇查看比赛详情!

https://startup.aliyun.com/aihackathon/ai3c

相关文章
|
2月前
|
人工智能 自动驾驶 机器人
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界
过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。
1427 69
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界
|
26天前
|
人工智能 IDE API
在我的开源项目(AI Godot 桌宠)中使用通义灵码
作为一名AI代码助手的忠实用户,我近期尝试了阿里开源的Qwen模型。通过在个人项目——一个由Godot引擎开发的AI桌宠软件中测试Qwen,我发现其在处理小众语言(如GDScript)时表现出色,能够快速准确地解决问题,甚至优化了我的代码。此外,Qwen在GitHub Actions自动化打包等复杂任务上的表现同样令人满意。其高效的代码补全速度更是超越了付费的GitHub Copilot。这次体验让我对开源AI工具刮目相看,强烈推荐大家试用。
|
1月前
|
Android开发 Swift iOS开发
python 基于电脑蓝牙连接获取手机的实时数据
python 基于电脑蓝牙连接获取手机的实时数据
53 0
|
2月前
|
自然语言处理 决策智能 Python
同时操控手机和电脑,100项任务,跨系统智能体评测基准有了
【9月更文挑战第9天】近年来,随着人工智能技术的进步,自主智能体的应用日益广泛。为解决现有评测基准的局限性,研究人员推出了CRAB(Cross-environment Agent Benchmark),这是一种支持跨环境任务的新框架,结合了基于图的精细评估方法和高效的任务构建机制。CRAB框架支持多种设备并可轻松扩展至任何具备Python接口的环境。首个跨平台基准CRAB-v0包含100项任务,实验显示GPT-4单智能体在完成率方面表现最佳。CRAB框架为智能体研究提供了新机遇,但也面临计算资源和评估准确性等方面的挑战。
69 9
|
2月前
|
存储 人工智能 开发框架
蚂蚁集团开源项目 DB-GPT 和 VSAG 惊艳亮相,引领 AI 数据革命!
9月5日,在2024 Inclusion·外滩大会“从DATA for AI到AI for DATA”见解论坛上,由蚂蚁集团发起的,旨在提高数据库与大模型应用开发效率的“星辰智能社区”新发布了两个项目:AI原生数据应用开发框架DB-GPT新版本与向量索引库VSAG。
|
3月前
|
人工智能 大数据
实践证明+奖学金+项目履历!魔搭社区联合主办的AI 夏令营来了
2024 AI夏令营,由Datawhale主办,联合科大讯飞、阿里云天池、蚂蚁集团、英特尔、浪潮信息、魔搭社区等国内外顶尖人工智能企业。
|
4月前
|
机器学习/深度学习 人工智能 供应链
智能进化:AI技术如何重塑智能手机体验
【7月更文第31天】随着人工智能(AI)技术的飞速发展,智能手机已经成为AI应用的重要平台之一。本文将探讨AI如何改善智能手机的用户体验,分析AI技术在手机硬件中的具体应用案例,并讨论AI技术如何帮助智能手机制造商应对市场挑战。
179 2
|
4月前
|
人工智能 边缘计算 自然语言处理
麦芒30全新绽放,中国电信勾勒出AI手机的新方向
2024年,AI手机迎来爆发,高通CEO称其为关键元年。各品牌如三星、华为、OPPO、小米及苹果纷纷涉足。中国电信发布首款AI手机麦芒30 5G,搭载星辰大模型,提供智能问答、语音转写等服务。市场预期AI手机销量将显著增长,但消费者是否买单仍取决于实际体验。麦芒30 5G针对年轻人提供AI集成的个性化体验,如多方言识别、智慧应用及AI增强的云盘服务。中国电信的运营商背景为其带来差异化优势,结合AI+战略和云网融合,有望重塑市场格局。生成式AI正改变行业,运营商的加入加剧竞争,智能手机市场或将迎来重大变革。
100 1
|
3月前
|
人工智能 开发工具 git
一看就会的 AI 换脸项目教程!5分钟速通明星大模型开源项目一键部署
有了通义灵码的帮助,很多明星大模型项目实操过程中遇到的问题:查找错误、解释代码、优化代码、查找文档、代码补全等等都可以用通义灵码一键解决,而且准确率很高,加上灵活的实操环境,项目跑起来会非常高效。关键是通义灵码个人版还免费!
|
4月前
|
机器学习/深度学习 人工智能 视频直播
AI直播手机APP震撼发布!3大场景直播,60秒一键开播!
🎉 青否数字人AI直播APP发布!🚀 在抖音等平台60秒一键开播,简化直播流程。💡 3种AI直播模式,融合6大AIGC技术,助力新手轻松直播带货且避免违规。💪 AI主播、声音克隆,实时话术改写,智能互动与讲品同步,提升转化。📊 实景与视频直播结合,适应多种场景。🌐 独立部署,自定义版权,1年免费升级,专业售后支持。🚀 (直播: zhibo175) #青否数字人 #AI直播
AI直播手机APP震撼发布!3大场景直播,60秒一键开播!