UI-Ins:让 GUI 智能体真正“看懂”用户指令的新范式

简介: 通义实验室联合人大发布全新GUI Grounding模型UI-Ins,首创“指令即推理”范式,通过多视角动态推理实现SOTA性能,在五大基准全面领先,支持开源复现与应用。
低成本、高精度、强泛化——通义实验室联合中国人民大学发布全新 GUI Grounding模型 UI-Ins,首次将指令视为动态推理路径,实现 SOTA 性能与涌现推理能力。

01GUI Grounding模型为何“看不懂”用户?

在迈向通用人工智能(AGI)的道路上,图形用户界面(GUI)智能体正成为关键一环。无论是自动操作手机 App、控制桌面软件,还是辅助残障人士使用电脑,GUI 智能体的核心能力之一,就是 “Grounding” ——即根据自然语言指令,在屏幕截图中精准定位目标 UI 元素。


然而,现有方法普遍将用户指令视为静态代理(static proxy),忽视了一个关键事实:同一个操作意图,可以用多种方式表达。


例如,要“关闭窗口”,人类可能会说:

  • 外观视角:“点击红色的 × 按钮”
  • 功能视角:“关闭当前文件管理器”
  • 空间视角:“点击右上角的按钮”
  • 意图视角:“退出这个界面”


人类能灵活切换视角,选择最有效的描述方式。但当前模型大多只在单一指令风格上训练,缺乏多视角理解与动态选择能力,导致在面对复杂、模糊或隐式指令时表现不佳。


更严重的是,论文作者对主流 GUI Grounding数据集(如 OS-Atlas、Widget Captioning、AMEX)进行了人工审查,发现高达 23.3% 的指令存在错误或歧义(如指向多个 UI 元素、或根本无对应元素),严重污染训练数据。


🔍 关键发现:仅通过在推理时切换不同视角的指令,就能在 ScreenSpot-Pro 上实现 76% 的相对性能提升——这说明指令多样性本身就是一种未被充分利用的“免费性能”。

02核心创新

为解决上述问题,UI-Ins 提出了 “指令即推理”(Instruction-as-Reasoning) 新范式:

不再把指令当作被动输入,而是将其视为动态的推理路径(Reasoning Pathway)。模型在执行任务前,会主动“思考”:哪种描述视角最有助于准确定位目标?甚至可以组合多个视角,或生成全新推理角度!


1. 高质量多视角数据构建

UI-Ins 团队构建了一套端到端的数据清洗与增强流水线:

  • 预处理:检测 UI 元素,通过 IoU 对齐修正原始标注框,过滤错误样本。
  • 多视角指令生成:利用多模态大模型,为每个 UI 元素生成四类高质量指令:
  • Appearance(外观):图标、颜色、文字等视觉特征
  • Functionality(功能):点击后的行为或目的
  • Location(空间):相对于其他元素的位置
  • Intent(意图):用户最终目标
  • 指令验证:再次调用多模态大模型,确保每条指令唯一对应目标元素,避免歧义。

该流程将原始数据的错误率从 23.3% 降至 <8%,并显著提升模型在多个基准上的表现。


2. 两阶段训练框架:SFT + 强化学习(RL)

UI-Ins 采用 监督微调(SFT) + 强化学习(RL) 的两阶段训练策略:

SFT 阶段:教会模型“多视角思考”

  • 每个训练样本包含两种视角:一种作为用户指令,另一种作为模型需生成的“推理过程”。
  • 模型输出格式为:
  • 目标:让模型学会将任意指令转化为结构化推理路径,再预测坐标。


RL 阶段:优化“最优视角选择”

  • 使用 Group Relative Policy Optimization (GRPO) 算法。
  • 在推理时不指定视角,鼓励模型自主探索最佳推理路径。
  • 奖励函数:若预测坐标落在目标 bounding box 内,则奖励为 1,否则为 0。
  • 通过 Z-score 归一化奖励,稳定训练过程。
💡 关键突破:该框架有效缓解了 SFT+RL 中常见的 “策略崩溃”(Policy Collapse) 问题——SFT 阶段的多视角训练为 RL 提供了丰富的探索空间,避免模型陷入单一、僵化的输出模式。

03性能表现:全面刷新 SOTA

UI-Ins 在五大主流 GUI Grounding基准上均取得当前最佳(SOTA)成绩:

基准 UI-Ins-32B 提升亮点
UI-I2E-Bench 87.3% 隐式指令理解能力显著增强
MMBench-GUI L2 84.9% 复杂层级指令处理更稳健
ScreenSpot-Pro 57.0% 专业软件高分辨率场景表现优异
ScreenSpot-V2 94.9% 跨平台(Windows/macOS/Android)泛化强
ShowDown 73.8% 低级控制与指令跟随能力突出
📌 特别亮点:在 MMBench-GUI L2 的“Advanced”子集(需推理用户意图)上,UI-Ins-7B 相比 Qwen2.5-VL-7B 提升 159.4%;在 UI-I2E-Bench 的“隐式”子集上,UI-Ins-32B 相比 GTA1 提升 6.6%,证明其在复杂语义理解上的优势。

在线智能体表现:74.1% 任务成功率!

更令人振奋的是,UI-Ins 不仅在静态Grounding任务上表现出色,在真实动态环境中同样可靠。

  • 实验设置:在 AndroidWorld 基准中,使用 GPT-5 作为规划器(Planner),UI-Ins-7B 作为执行器(Executor)。
  • 结果:任务成功率达 74.1%,超越 Gemini 2.5 Computer Use(69.7%)、UI-TARS-2(73.3%)等闭源模型。
  • 意义:证明 UI-Ins 的Grounding能力可直接转化为真实世界智能体的行动可靠性。

04UI-Ins 到底“强”在哪里?

1. 指令多样性 ≠ 自由形式推理(Free-Form Reasoning)

  • 实验表明,传统的自由形式推理在 RL 阶段反而会降低性能(UI-Tars-1.5-7B 下降 6.4%)。
  • 而 UI-Ins 的结构化多视角推理则显著提升性能(Qwen2.5-VL-7B 提升 9.9%)。

2. 涌现能力:超越预定义视角

UI-Ins 不仅能使用四种预定义视角,还能:

  • 组合视角:如“点击右上角(空间)的红色×(外观)按钮来关闭窗口(意图)”。
  • 生成新视角:如基于 UI 元素状态(“未激活的按钮”)、组件分组(“在对齐控制组中”)等进行推理。
  • 定性分析显示,1477 个样本中出现了 5245 种不同推理方式,远超训练时的 4 种。

3. 消融实验验证各模块必要性

配置 MMBench-GUI L2 UI-I2E-Bench
无 SFT + 无 RL 63.4% 56.0%
仅 RL 72.4% 69.2%
仅 SFT 76.3% 70.1%
SFT + RL(完整) 83.1% 81.1%
移除中间推理步骤会导致 UI-I2E-Bench 性能下降超 10%,证明结构化推理是性能核心。

05开源应用

UI-Ins 基于 Qwen2.5-VL 架构,支持图像+文本多模态输入,推理脚本简洁高效:

from modelscope import AutoProcessor, Qwen2_5_VLForConditionalGeneration

开源资源一览:

模型:

UI-Ins-7B:https://www.modelscope.cn/models/Tongyi-MiA/UI-Ins-7B

UI-Ins-32B:https://www.modelscope.cn/models/Tongyi-MiA/UI-Ins-32B


论文:https://arxiv.org/abs/2510.20286

代码仓库:https://github.com/alibaba/UI-Ins


包含完整的 SFT/RL 训练代码、数据处理流程、评估脚本,方便研究者复现与二次开发。


06从“映射”到“理解”,GUI 智能体的新起点

UI-Ins 的成功证明:理解用户意图比识别像素位置更重要。通过将指令转化为动态推理路径,模型真正学会了“思考”,而非简单映射。


未来,UI-Ins 的思想可拓展至:

  • 多步骤任务规划
  • 跨平台 UI 适配
  • 无障碍人机交互
  • 低资源设备部署(7B 模型即可胜任)


点击即可跳转模型链接

ModelScope 魔搭社区www.modelscope.cn/organization/Tongyi-MiA

目录
相关文章
|
机器学习/深度学习 数据采集 人工智能
通义实验室Mobile-Agent-v3开源,全平台SOTA的GUI智能体,支持手机电脑等多平台交互
近日,通义实验室MobileAgent团队正式开源全新图形界面交互基础模型 GUI-Owl,并同步推出支持多智能体协同的自动化框架 Mobile-Agent-v3。该模型基于Qwen2.5-VL打造,在手机端与电脑端共8个GUI任务榜单中全面刷新开源模型性能纪录,达成全平台SOTA。
3590 2
|
11月前
|
机器学习/深度学习 安全 API
MAI-UI 开源:通用 GUI 智能体基座登顶 SOTA!
MAI-UI是通义实验室推出的全尺寸GUI智能体基座模型,原生集成用户交互、MCP工具调用与端云协同能力。支持跨App操作、模糊语义理解与主动提问澄清,通过大规模在线强化学习实现复杂任务自动化,在出行、办公等高频场景中表现卓越,已登顶ScreenSpot-Pro、MobileWorld等多项SOTA评测。
4284 7
|
12月前
|
人工智能 安全 搜索推荐
杭州AI开源生态大会·魔搭社区开发者嘉年华全回顾
11月22日,杭州AI开源生态大会暨“魔搭社区”开发者中心启用仪式在云谷中心举行。大会汇聚超3000名开发者,发布“两张清单”与AI开源政策包,启用首个线下开发者空间,推动开放、共建、共创的AI生态发展。
1717 10
|
人工智能 自然语言处理 语音技术
Soul App联合西工大和上交大开源语音合成模型SoulX-Podcast,已登顶Hugging Face TTS趋势榜!
Soul AI Lab联合西工大、上交大开源SoulX-Podcast,支持中英粤川等多语种方言及副语言生成,可稳定输出超60分钟自然流畅的多人对话音频,已在Huggingface登顶TTS趋势榜。
1225 0
Soul App联合西工大和上交大开源语音合成模型SoulX-Podcast,已登顶Hugging Face TTS趋势榜!
|
9月前
|
人工智能 JavaScript API
1分钟云上或Windows本地部署OpenClaw(Clawdbot),配置免费MiniMax M2.5,零成本解锁AI Agent 全能力
2026年,国产大模型迎来爆发式突破,MiniMax M2.5系列(标准版+Lightning闪电版)凭借强悍性能引爆开发者社区——在SWE-Bench Verified榜单中斩获80%+的优异成绩,硬刚Claude 4、o1-preview等国际顶尖模型不落下风,尤其在代码理解、长上下文Agent协作、多轮复杂推理等核心场景表现突出。然而,官方API的收费门槛让不少用户望而却步:一百万Token输入输出费用高达十几元,长期使用成本不菲。
8279 0
|
11月前
|
存储 人工智能 机器人
LangGraph 圣经:从0到1穿透 multi-agent多智能体 入门实战
LangGraph 圣经:从0到1穿透 multi-agent多智能体 入门实战
LangGraph 圣经:从0到1穿透 multi-agent多智能体 入门实战
|
10月前
|
人工智能 自然语言处理 Cloud Native
大模型应用落地实战:从Clawdbot到实在Agent,如何构建企业级自动化闭环?
2026年初,开源AI Agent Clawdbot爆火,以“自由意志”打破被动交互,寄生社交软件主动服务。它解决“听与说”,却缺“手与脚”:硅谷Manus走API原生路线,云端自主执行;中国实在Agent则用屏幕语义理解,在封闭系统中精准操作。三者协同,正构建AI真正干活的三位一体生态。
3676 11
|
12月前
|
数据采集 人工智能 自然语言处理
Meta SAM3开源:让图像分割,听懂你的话
Meta发布并开源SAM 3,首个支持文本、点、框等提示进行图像与视频分割的统一基础模型,突破传统限制,实现开放词汇概念的精准识别与跟踪,涵盖超400万独特概念,推动视觉分割新发展。
3448 6
|
编解码 人工智能 文字识别
【Github热门项目】DeepSeek-OCR项目上线即突破7k+星!突破10倍无损压缩,重新定义文本-视觉信息处理
DeepSeek-OCR开源即获7k+星,首创“上下文光学压缩”技术,仅用100视觉token超越传统OCR模型256token性能,压缩比达10-20倍,精度仍超97%。30亿参数实现单卡日处理20万页,显著降低大模型长文本输入成本,重新定义高效文档理解新范式。
900 2
【Github热门项目】DeepSeek-OCR项目上线即突破7k+星!突破10倍无损压缩,重新定义文本-视觉信息处理

热门文章

最新文章