“今日热点:AI像人类一样使用手机和电脑”,魔搭社区的开源项目已先行一步

简介: 今天,Claude发布了Computer Use的新功能,可以让AI像人一样使用电脑!

今天,Claude发布了Computer Use的新功能,可以让AI像人一样使用电脑!

在官方提供的填写表格的例子中,涉及到的数据分散在了电脑不同的位置,如果人工挨个寻找费时费力。

现在,你只需要跟Claude说一声需求,它就会先“看”屏幕,发现所需要的数据不在这份表格里,马上掉头去CRM搜索所需数据。找到匹配的信息之后,Claude就会自己滚动网页,最后把对应的数据填写到相应的表格栏中。

而整个演示的过程,无需人类任何的参与!让大家感受到了什么叫做“生产力的极大提升”!但也有一线开发者热评:

让我们也来顺势回顾一下Mobile-agent:

通义NLP实验室联合魔搭社区在今年2月份推出了Mobile-Agent框架(开源地址:https://github.com/X-PLUG/MobileAgent),在手机端和PC端实现了高级的RPA(Robotic Process Automation)功能。Mobile-Agent通过纯视觉方案,利用视觉感知工具和操作工具,实现了智能体在手机上的自动化操作,无需依赖系统级别的UI文件,展现了即插即用的能力。Mobile-Agent的推出,迅速在AI领域和手机制造商中引起了广泛关注。让我们看下官方和开发者出的一些demo:

案例1:PC端自主化操作

  • 通过浏览器访问网页并下载保存文件
  • 在Microsoft Word中创建新文档、编辑文本及保存文件
  • 通过浏览器访问网页并复制文字发送消息给阿里钉

0bc35aaaoaaa6yalqoiy -small-original.gif

好的标题可以获得更多的推荐及关注者


案例2:一句指令操作手机

  • 帮你点奶茶
  • 帮你打微信视频电话
  • 帮你搜索旅游攻略并发给自己微信好友

0b2ebiaauaaayyali2yy -small-original.gif

好的标题可以获得更多的推荐及关注者


案例3:智能抓药机械臂

它可以通过语音对话了解用户病症并思考合适的药品,通过视觉理解模型识别不同药品,然后驱动机械臂抓取药物到指定的盘子。

image.png


好的标题可以获得更多的推荐及关注者

在大模型加持下,AI硬件正当时。

成熟终端手机、汽车、电脑等正加装AI能力作为新卖点,同时,新的硬件形态层出不穷,如Meta-Ray Glass、Rabbit R1、Plaud Note的先行者已创造销量奇迹;AI玩具、AI穿戴设备、AI教育工具、AI机器人各个赛道也是群雄角逐。

中国电子产业链成熟,加上AI能力后更显生机勃勃。在此节点,魔搭社区、阿里云、英特尔共同发起「2024 AI+硬件创新大赛」,一起推动AI硬件的创新创业,孵化和助力下一个现象级AI+硬件产品。奖金池总共50万!欢迎各位开发者组队参与这次比赛!


比赛详情:https://startup.aliyun.com/aihackathon/ai3c

One More Thing

如果想跟Mobile-Agent作者团队面对面沟通,还可以报名参加上海场沙龙~


   往期回顾


点击链接👇查看比赛详情!

https://startup.aliyun.com/aihackathon/ai3c

相关文章
|
2月前
|
机器学习/深度学习 数据采集 人工智能
通义实验室Mobile-Agent-v3开源,全平台SOTA的GUI智能体,支持手机电脑等多平台交互
近日,通义实验室MobileAgent团队正式开源全新图形界面交互基础模型 GUI-Owl,并同步推出支持多智能体协同的自动化框架 Mobile-Agent-v3。该模型基于Qwen2.5-VL打造,在手机端与电脑端共8个GUI任务榜单中全面刷新开源模型性能纪录,达成全平台SOTA。
744 2
|
3月前
|
人工智能 JavaScript 测试技术
Cradle:颠覆AI Agent 操作本地软件,AI驱动的通用计算机控制框架,如何让基础模型像人一样操作你的电脑?
Cradle 是由 BAAI‑Agents 团队开源的通用计算机控制(GCC)多模态 AI Agent 框架,具备视觉输入、键鼠操作输出、自主学习与反思能力,可操作各类本地软件及游戏,实现任务自动化与复杂逻辑执行。
369 6
|
3月前
|
存储 缓存 安全
手机缓存清除工具和电脑缓存清除工具有什么区别?
手机缓存清除工具和电脑缓存清除工具有什么区别?
290 94
|
5月前
|
人工智能 IDE 开发工具
2.4k star 开源项目,Wingman AI + 知识图谱,如何帮你搭建‘私人大脑’?学术/项目必备,让笔记真正活起来!
MindForger 是一款灵感源于人脑思维机制的桌面 Markdown IDE,帮助用户构建私人知识体系。它通过强大的语义联想与结构重构功能,解决笔记混乱、缺乏智能联接等痛点。核心功能包括 TAYR/TAYW 联想、知识图谱浏览器、Markdown 编辑器和 AI 助手 Wingman。支持本地隐私保护,跨平台使用,开源 GPLv2 许可。项目地址:https://github.com/dvorka/mindforger。
200 4
|
7月前
|
人工智能 Rust 自然语言处理
37.1K star!AI模型全能工具箱,这个开源项目让智能体开发更简单!
"Awesome MCP Servers 是当前最全面的模型上下文协议服务器集合,为AI开发者提供开箱即用的工具链支持。通过标准化协议实现AI模型与各类资源的无缝对接,堪称智能体开发的瑞士军刀!"
425 7
|
7月前
|
人工智能 自然语言处理 安全
90.9K star!一键部署AI聊天界面,这个开源项目让大模型交互更简单!
"像使用微信一样操作大模型!Open WebUI 让AI对话从未如此简单"
708 0
|
8月前
|
人工智能 自然语言处理 机器人
9.9K star!大模型原生即时通信机器人平台,这个开源项目让AI对话更智能!
"😎高稳定、🧩支持插件、🦄多模态 - 大模型原生即时通信机器人平台"
281 0
|
4月前
|
机器学习/深度学习 人工智能 程序员
MiniMind:3小时训练26MB微型语言模型,开源项目助力AI初学者快速入门
在大型语言模型(LLaMA、GPT等)日益流行的今天,一个名为MiniMind的开源项目正在AI学习圈内引起广泛关注。项目让初学者能够在3小时内从零开始训练出一个仅26.88MB大小的微型语言模型。
320 1
|
5月前
|
存储 人工智能 缓存
tauri2.0+vite6接入deepseek-v3电脑端ai流式多轮聊天对话系统
原创重磅新作tauri2.0+vite6+deepseek-v3+arco-design实战客户端AI流式聊天对话系统。整合 Tauri2.x 接入 DeepSeek-V3 大模型。支持多窗口浅色+暗黑主题、代码高亮、本地会话缓存。
269 5
|
6月前
|
人工智能 Cloud Native Java
2025 开源之夏开启报名|AI + 云原生,10个开源项目、24个课题任您挑选
“开源之夏”是由中国科学院软件研究所发起的暑期活动,旨在鼓励高校学生参与开源软件开发与维护。活动联合各大开源社区提供项目任务,面向全球年满18周岁的高校学生开放报名。每位学生最多可申请一个项目。阿里云云原生提报了包括Apache Dubbo、RocketMQ、Seata等在内的10个开源项目共24个课题,涵盖技术优化、功能实现及AI应用等领域。活动流程包括选题、申请、开发与结项考核,具体信息可访问官网了解。
2223 32

热门文章

最新文章

下一篇
oss云网关配置