牛逼!谷歌亲自下场开源的AI自动化神器!

简介: 谷歌开源AI手机操作框架ARTEMIS:用中文一句话下达指令,AI即刻在真机上自主看屏、定位、点击、滑动,完成多步任务。支持Flash/Pro双模式,原生MCP集成IDE,AndroidWorld基准完成率超99%,Apache-2.0免费商用。

让 AI 像人一样操作手机,自己看屏幕,自己划,自己点,从头干到尾。这件事谷歌亲自下场做了,项目叫 ARTEMIS,8 月开源,到现在三个月,Star 攒到 1.7W+。

手机上的重复操作,装机、注册、登录、挨个点设置项,做安卓测试的人一年要点几万次。以前想省掉这些活,要么继续人肉点,要么写一摞脚本,把每个按钮的定位器都喂给机器。

ARTEMIS 换了个走法,你用一句中文把要做的事说清楚,剩下的它自己来。

这个项目,你只需要记住几个关键信息。

  • 谷歌官方开源,google 组织出品,Apache-2.0 协议,免费用
  • Python 实现,2026 年 8 月 13 日放出,Star 1.7W+(截至 2026-11-15)
  • 谷歌研究院 AndroidWorld 基准 99% 以上任务完成率,官方榜单第一
  • 原生 MCP Server,一条命令接进 Claude Code、Codex、Antigravity、Windsurf
  • 多模态模型随你挑,Gemini、Claude、GPT-4o、Qwen-VL 都行

它干的事很简单,一句话概括:你用自然语言下任务,AI Agent 自己看屏幕、找控件、划屏点按,在一台安卓真机上把任务做完,把截图和日志一起带回来。

AI 像人一样操作真机

官方放了个演示动图,一条指令,它自己打开 Google Maps 设置驾车路线算出全程耗时,再切到 YouTube 放了一首 Coldplay。两个 App,一句话,中间没人碰手机。

官方演示,一句指令跨两个 App 完成任务

它的操作逻辑跟人差不多,看一眼屏幕,想一下,点一下。

界面上每个控件,它分三路去找。

优先走安卓的无障碍层级,直接拿控件索引;拿不到就落到坐标;控件树里压根没有节点的界面,比如 Canvas、Compose、Flutter 这类自绘页面,由 OCR 加视觉模型兜底。做过移动端自动化的都懂,自绘页面以前是脚本搞不定的盲区,uiautomatorviewer 抓出来一片空白。

第一次在设备上跑任务时,它会自动往手机里装一个无障碍 Helper,只在本机读屏幕布局,不往外面发数据。这个服务不占用 UiAutomation 连接,万一中途挂了,自动退到 UIAutomator2 接着跑,任务时间线里会写明。

两种模式随便切

跑任务分 Flash 和 Pro 两档,命令行一个 --profile 参数来回切。Flash 管快,Pro 管稳。

Flash 是快档,单个模型边看边做的反应式循环,一步 3 到 5 秒,装机、登录、点设置这类确定性操作交给它。Pro 是慢档,一步 15 到 40 秒,Planner 先产出带里程碑的任务计划,Operator 负责执行,每个动作发出去之前,先对着当前界面树和像素校验目标还在不在,跑完由 Checker 对照原始目标做终审,输出书面报告。

长任务不崩,靠的是历史压缩。跑过的步骤压成可检索的摘要,旧截图折叠成视觉总结,上下文不随步数无限膨胀,几百步的任务也扛得住。

跑分也有官方数据。谷歌研究院的 AndroidWorld 基准覆盖 20 多个 App、100 多条多步任务,专考 Agent 在真机上完成真实任务的能力,ARTEMIS 跑出 99% 以上的完成率。出题的是谷歌研究院,交卷的也是谷歌,这个数字看个量级就好,换到你自己的 App 上灵不灵,还得亲手验。

AndroidWorld 基准对比

在写代码的编辑器里直接测

ARTEMIS 自带原生 MCP Server,一条命令挂进 AI IDE。

uv run artemis mcp --install all

装好后在 Claude Code 的对话框里直接这样说。

把最新改动打成 APK,装到连接的设备上,用测试账号走完登录,验证登录后有没有意外弹窗,最后把页面截图给我。

它自己调构建,自己装机,自己操作,Logcat 日志和截图一并带回。项目还附了一份移动端测试准则 rules.md,教 AI Agent 先探索再动手、优先动态定位失败再退坐标,安装时会一起挂进 IDE。

Bug 复现这个场景尤其顺。用户反馈一段操作路径,原样发给它,真机走一遍,现场原样带回来。

官方工作流,IDE 里下指令到真机执行

网页投屏,看它干活

不想开编辑器,./start.sh 启动后浏览器会自动打开一个 Web 控制台。

左边是真机投屏,中间是实时推理流,它点了哪里、坐标是多少、每步的结论,全程可见。底下输入框用自然语言下发任务,右侧看板管任务队列和历史回放,跑挂了想看现场,点开回放就是。

Web 控制台

两条命令跑起来

门槛低到只有两步,要一台开了 USB 调试的安卓真机或模拟器。

git clone https://github.com/google/artemis.git && cd artemis
./start.sh

start.sh 会自动装齐 ADB、scrcpy、FFmpeg 和 Python 依赖,然后提示把 MCP 服务挂进你的 AI IDE。不开浏览器的话,命令行直接跑。

uv run artemis run "打开系统设置,查一下当前电量" --profile flash

要在现有工程里用,它提供了零运行时依赖的 Python SDK,返回 Pydantic 强类型结果,断言直接写进 pytest,CI 流水线也能接。

几个要留神的点

只支持 Android,路线图上 iOS 和端侧轻量模型还在排。

每一步都是一次模型调用,token 成本和耗时摆在那里,几千条用例的回归任务还得是直接跑脚本便宜划算。结论带概率属性,要非黑即白判定的质量门禁,别整个交给它。另外它靠无障碍服务读屏,你的 App 要是把无障碍支持阉割了,就得退到坐标和视觉兜底,稳定性会打折。

写在最后

工具可用可不用,思路可以借鉴。快慢两档按活切换的执行策略,每个动作发出前先校验目标的防幻觉设计,还有历史压缩这套长任务方案,放进你自己的测试工具和流程里一样成立。

手机上的重复操作,先挑一两件交给它试试,装机、登录、查弹窗这种,跑几遍看成功率,比站队有用。

GitHub项目地址:

https://github.com/google/artemis
目录
相关文章
|
4天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1728 3
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
4天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
3666 0
|
19天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8699 58
|
14天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3091 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5855 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1952 2

热门文章

最新文章