Computer Use 已经可以操作电脑,Browser Use 可以进入你正在使用的浏览器。移动端还没有对等的能力。
今天的 Coding Agent 已经可以修改安卓、鸿蒙与 iOS 代码,但往往止步于提交之前。移动端 app 是否成功构建,修改后的页面如何呈现,用户所指的是哪一个控件,点击之后是否进入正确页面,这些问题还需要解决。
因此,我们推出 Mobile Use 插件(Beta)。安卓、鸿蒙与 iOS 均可将代码修改接入应用运行,在设备上完成交互,并确认修改是否生效。
Mobile Use 面向正在开发中的手机应用
常见的 Mobile Agent 多用于“操作手机”,比如打开应用、填写表单、走完一段操作流程。Qoder 新上线的 Mobile Use 插件面向另一类场景:应用本身仍在开发与修改之中。
Agent 既要执行点击,也需要理解当前工程、构建目标、运行设备与界面状态。完成代码修改后,它重新运行应用,定位受影响的页面,执行必要交互,并以截图、日志、断言或测试结果证明本次修改有效。
点击与输入只是其中一步。需要完成的,是从代码变更到结果确认。
一次完整验证:从代码修改到结果确认
以一次界面修改为例。无论是布局、文案、点击反馈还是页面跳转,以往都需要自行完成构建、安装、在设备上操作,再对照代码。证据在设备上,代码在 IDE 中,中间依赖开发者在两端传递信息。若 Agent 只能依据文字描述和数秒前的截图,便容易改错位置。
现在可以将这项工作交给同一条会话中的 Agent。在 Canvas 上圈选出问题的区域,并在对话中发送:
我刚修改了界面上圈出来的这一处。请构建并运行应用,按圈选位置执行操作,截图确认结果是否符合预期。若不符,请对照代码修改,完成后再验证一次。
圈选给出的是具体控件和当前画面,Agent 可以同时使用截图、可访问性结构、控件文本和界面状态,而无须仅凭「这里不对」进行推断。它在同一台设备上执行操作、截取画面并对照结果:验证通过则返回结论;未通过则回到代码修改,并再次验证。
若结果不符合预期,可以在 Canvas 中直接看到它操作了哪一处、界面变成了什么样。下一轮仍使用同一台设备、同一条会话,无须重新描述现场。
三端接入方式不同,验证过程保持一致
安卓、鸿蒙与 iOS 的工程结构、构建工具、模拟器、测试框架和设备接口本就不同。Mobile Use 不会以一套最低能力将三端强行对齐。现有开发环境可以继续使用,不必另行准备仅供 Agent 使用的测试设备。
安卓仍然通过 Emulator、ADB 与 Instrumentation 工作。鸿蒙可以连接 DevEco Previewer、HDC 与 ArkXTest。iOS 则使用 Xcode Simulator、Accessibility 与 XCTest。平台差异由各自的适配器处理。
上层通过统一的 Skill 与 CLI,将这些能力提供给 Agent。需要对齐的是更上一层的开发过程:观察、操作与验证。
若某一平台或运行环境不具备某项能力,Mobile Use 会明确说明,而不会以一条不等价的命令冒充成功。
ADB、HDC 与 simctl 仍然是三条不同的命令。Agent 在三端进入的,是同一套观察、操作与验证流程。
开发者使用 Canvas,Agent 使用 CLI,共用同一台设备
开发者通过 Canvas 查看应用运行状态,在界面上观察、标注并检查结果。Agent 通过确定性的 CLI 查询设备、观察界面、执行操作并运行验证。
两侧接入 Host 管理的同一条设备会话。 Host 负责设备生命周期:当前连接、运行状态、权限范围,以及证据的归属。
因此,Agent 不会在后台另行启动一台模拟器,也不会因注册大量 MCP 工具(即为 Agent 注册工具接口)而形成一套与开发者割裂的设备环境。 CLI 只是智能体进入现有能力的入口。设备本身、权限、状态与证据,仍由统一运行时管理。
随后执行的操作作用于同一条设备会话。截图、日志、录像与断言结果也关联到该会话。「这里有问题」可以连同圈选与当前画面,成为 Agent 继续定位、修改与验证的任务入口。
立即体验
Mobile Use 插件已在 Qoder 桌面端与 Qoder IDE 中上新。
- 打开左下角的拓展或插件市场,搜索 Mobile Use,安装后重启。
- 在对应工程中双击以打开 Canvas:安卓双击
AndroidManifest.xml,iOS 双击Package.swift,鸿蒙双击build-profile.json5。
- 先连接模拟器或真机,将上文提示词发送给 Agent,并在 Canvas 上圈选需要验证的区域。