Qoder 上新 Mobile Use,开始验证移动端应用

简介: Computer Use 已经可以操作电脑,Browser Use 可以进入正在使用的浏览器。Qoder 推出 Mobile Use 插件(Beta),在安卓、鸿蒙与 iOS 上将代码修改接入真机或模拟器,完成运行、交互与结果确认。

2.35_1 900_383-4.jpg


Computer Use 已经可以操作电脑,Browser Use 可以进入你正在使用的浏览器。移动端还没有对等的能力。


今天的 Coding Agent 已经可以修改安卓、鸿蒙与 iOS 代码,但往往止步于提交之前。移动端 app 是否成功构建,修改后的页面如何呈现,用户所指的是哪一个控件,点击之后是否进入正确页面,这些问题还需要解决。


因此,我们推出 Mobile Use 插件(Beta)。安卓、鸿蒙与 iOS 均可将代码修改接入应用运行,在设备上完成交互,并确认修改是否生效。


image (19).png


01.png


Mobile Use 面向正在开发中的手机应用


常见的 Mobile Agent 多用于“操作手机”,比如打开应用、填写表单、走完一段操作流程。Qoder 新上线的 Mobile Use 插件面向另一类场景:应用本身仍在开发与修改之中。


Agent 既要执行点击,也需要理解当前工程、构建目标、运行设备与界面状态。完成代码修改后,它重新运行应用,定位受影响的页面,执行必要交互,并以截图、日志、断言或测试结果证明本次修改有效。


点击与输入只是其中一步。需要完成的,是从代码变更到结果确认。


image (20).png


02.png


一次完整验证:从代码修改到结果确认


以一次界面修改为例。无论是布局、文案、点击反馈还是页面跳转,以往都需要自行完成构建、安装、在设备上操作,再对照代码。证据在设备上,代码在 IDE 中,中间依赖开发者在两端传递信息。若 Agent 只能依据文字描述和数秒前的截图,便容易改错位置。


现在可以将这项工作交给同一条会话中的 Agent。在 Canvas 上圈选出问题的区域,并在对话中发送:


我刚修改了界面上圈出来的这一处。请构建并运行应用,按圈选位置执行操作,截图确认结果是否符合预期。若不符,请对照代码修改,完成后再验证一次。


圈选给出的是具体控件和当前画面,Agent 可以同时使用截图、可访问性结构、控件文本和界面状态,而无须仅凭「这里不对」进行推断。它在同一台设备上执行操作、截取画面并对照结果:验证通过则返回结论;未通过则回到代码修改,并再次验证。


image (21).png


若结果不符合预期,可以在 Canvas 中直接看到它操作了哪一处、界面变成了什么样。下一轮仍使用同一台设备、同一条会话,无须重新描述现场。


image (22).png


03.png


三端接入方式不同,验证过程保持一致

安卓、鸿蒙与 iOS 的工程结构、构建工具、模拟器、测试框架和设备接口本就不同。Mobile Use 不会以一套最低能力将三端强行对齐。现有开发环境可以继续使用,不必另行准备仅供 Agent 使用的测试设备。


image (23).png


安卓仍然通过 Emulator、ADB 与 Instrumentation 工作。鸿蒙可以连接 DevEco Previewer、HDC 与 ArkXTest。iOS 则使用 Xcode Simulator、Accessibility 与 XCTest。平台差异由各自的适配器处理。


上层通过统一的 Skill 与 CLI,将这些能力提供给 Agent。需要对齐的是更上一层的开发过程:观察、操作与验证。

若某一平台或运行环境不具备某项能力,Mobile Use 会明确说明,而不会以一条不等价的命令冒充成功。


ADB、HDC 与 simctl 仍然是三条不同的命令。Agent 在三端进入的,是同一套观察、操作与验证流程。


image (24).png


04.png


开发者使用 Canvas,Agent 使用 CLI,共用同一台设备

开发者通过 Canvas 查看应用运行状态,在界面上观察、标注并检查结果。Agent 通过确定性的 CLI 查询设备、观察界面、执行操作并运行验证。


image (25).png


两侧接入 Host 管理的同一条设备会话。 Host 负责设备生命周期:当前连接、运行状态、权限范围,以及证据的归属。


因此,Agent 不会在后台另行启动一台模拟器,也不会因注册大量 MCP 工具(即为 Agent 注册工具接口)而形成一套与开发者割裂的设备环境。 CLI 只是智能体进入现有能力的入口。设备本身、权限、状态与证据,仍由统一运行时管理。


随后执行的操作作用于同一条设备会话。截图、日志、录像与断言结果也关联到该会话。「这里有问题」可以连同圈选与当前画面,成为 Agent 继续定位、修改与验证的任务入口。


立即体验

Mobile Use 插件已在 Qoder 桌面端与 Qoder IDE 中上新。


  1. 打开左下角的拓展或插件市场,搜索 Mobile Use,安装后重启。


  1. 在对应工程中双击以打开 Canvas:安卓双击 AndroidManifest.xml,iOS 双击 Package.swift,鸿蒙双击 build-profile.json5


  1. 先连接模拟器或真机,将上文提示词发送给 Agent,并在 Canvas 上圈选需要验证的区域。


image (26).png

目录
相关文章
|
3天前
|
人工智能 API 内存技术
刚刚 DeepSeek V4.1 Flash 开启内测,1 分钟教你用上!
刚刚 DeepSeek 内测群发布了 DeepSeek V4.1 Flash 中间版本内测的消息,这次的模型采用了新的结构,原生支持多模态、能力更强、速度更快、且成本更低。
1618 4
|
7天前
|
人工智能 运维 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8,六大核心能力重构企业全自动化工作流与计费选型指南
传统AI办公工具大多停留在对话问答、文档摘要、简单文案生成层面,只能完成单点碎片化任务,无法自主拆解复杂业务流程,很难串联多工具、多文档、外部业务系统完成端到端完整工作交付。很多企业在落地AI办公的时候,需要组合多款不同工具,来回切换界面,手动复制粘贴中间结果,智能化改造落地门槛居高不下。千问办公QwenWork是整合多款智能体产品能力打造的一体化企业办公智能体平台,底层基座依托Qwen3.8大模型,打通桌面端Agent、云端Agent、企业协同Agent三种运行形态,不再局限简单问答,接收业务目标之后自主拆解任务步骤,调用各类工具,处理文档、表格、浏览器自动化、数据查询,直接输出可交付的办公
1598 0
|
4天前
|
SQL 人工智能 前端开发
QoderWake 1.0 正式发布:从桌面里的 Agent,到工作现场的数字员工
QoderWake v1.0正式发布:企业级数字员工团队平台。支持“一句话建岗”,预置10类特训岗位;Waker常驻钉钉/飞书群,@即响应、自动协作、跨任务记忆;具备定时/事件/API多触发方式与统一任务看板;已沉淀27.6万条记忆、12.3万项技能,助力组织实现人机协同增效。
698 0
|
16天前
|
人工智能 自然语言处理 安全
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
本文聚焦阿里云2026年推出的三款自研AI办公产品,清晰拆解千问办公、Qoder Teams、Qoder CN的差异化定位与能力边界:千问办公主打职场全场景提效,支持自然语言指令一键完成PPT生成、数据分析等高频办公任务;Qoder Teams面向程序员团队,深度整合AI代码生成、团队协同与企业知识库能力;Qoder CN则专为金融、政务等强合规场景打造,实现数据不出境与VPC私有化部署。文章同步给出分场景选型指南与最新活动定价,帮助不同类型的企业按需组合产品,实现业务岗、研发岗与强合规场景的AI能力全覆盖。
3843 5
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
|
7天前
|
人工智能 自然语言处理 安全
阿里云AI数智鉴密:AI 生成内容如何拿到一张"防篡改的身份证"
隐形水印 + C2PA签名:让AI生成内容“持证上岗”。
1141 0
|
8天前
|
网络协议 Linux iOS开发
【2026实测】Wireshark下载+安装+汉化+使用教程(图文版,巨详细)
Wireshark 是一款免费开源的网络协议分析工具,可实时捕获、解析并可视化数据包,助你诊断网络故障、分析通信协议(如HTTP、DNS、TCP等)。支持Windows/macOS/Linux,含中文界面,新手入门便捷。(239字)
|
2天前
|
缓存 测试技术 API
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)
DeepSeek V4.1 Flash 内测不用申请,base_url 不变、改个模型名就能调,9/10 到期。本文讲清接入、计费限流与多模态注意点。
643 0
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)

热门文章

最新文章