CogAgent-9B:智谱 AI 开源 GLM-PC 的基座模型,专注于预测和执行 GUI 操作,可应用于自动化交互任务

简介: CogAgent-9B 是智谱AI基于 GLM-4V-9B 训练的专用Agent任务模型,支持高分辨率图像处理和双语交互,能够预测并执行GUI操作,广泛应用于自动化任务。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

原文链接:https://mp.weixin.qq.com/s/Jt57vblH6-3w-2VXXPgaMg


🚀 快速阅读

  1. 功能:CogAgent-9B 支持高分辨率图像处理和双语交互,能够预测并执行GUI操作。
  2. 技术:基于视觉语言模型GLM-4V-9B,采用双流注意力机制和GUI Grounding预训练方法。
  3. 应用:广泛应用于个人电脑、手机、车机等GUI交互场景,如自动化测试和智能助手。

正文(附运行示例)

CogAgent-9B 是什么

公众号: 蚝油菜花 - CogAgent

CogAgent-9B 是基于 GLM-4V-9B 训练的专用Agent任务模型,仅依赖屏幕截图作为输入,无需HTML等文本表征。该模型支持高分辨率图像处理,具备双语(中英文)交互能力,能预测并执行GUI操作,实现自动化任务。

在多个GUI操作数据集上取得了领先成绩,模型已开源,推动大模型Agent生态的发展。CogAgent-9B可广泛应用于个人电脑、手机、车机等GUI交互场景。

CogAgent-9B 的主要功能

  • GUI 理解和操作:CogAgent-9B能理解和操作图形用户界面(GUI),执行如点击按钮、输入文本等任务。
  • 屏幕截图输入:模型仅依赖屏幕截图作为输入,无需额外的文本表征,如HTML,使其在多种设备上应用灵活。
  • 高分辨率处理:支持高达1120×1120像素的高分辨率图像输入,能够处理更复杂的视觉信息。
  • 双语交互:支持中文和英文的屏幕截图和语言交互,增强了模型的国际化应用能力。
  • 预测GUI操作:根据用户指定的任务和历史操作,模型能够预测下一步的GUI操作。
  • 自动化任务执行:CogAgent-9B能模拟用户操作,自动化执行一系列GUI任务。
  • 跨平台应用:适用于个人电脑、手机、车机等多种基于GUI交互的场景。
  • 性能领先:在多个GUI操作数据集上取得了领先成绩,显示了其卓越的性能。

CogAgent-9B 的技术原理

  • 视觉语言模型(VLM):CogAgent-9B构建在强大的视觉语言模型GLM-4V-9B之上,能够处理视觉数据(如屏幕截图)和文本信息,实现对GUI元素的理解和操作。
  • 双流注意力机制:CogAgent-9B采用双流注意力机制,将视觉元素(例如按钮和图标)映射到它们的文本标签或描述,增强了模型预测用户意图和执行相关操作的能力。
  • GUI Grounding预训练:在预训练阶段,CogAgent-9B引入了GUI Grounding预训练方法,通过屏幕截图和layout对,构造界面子区域和layout表征的对应关系,提升模型对视觉输入和GUI界面的基础理解能力。
  • 数据集丰富与完善:CogAgent-9B团队广泛收集并整合了多种数据集,包括无监督数据和GUI指令微调数据集,这些数据集的丰富性和多样性为模型提供了广泛的训练和测试基础。
  • 预训练与后训练策略优化:CogAgent-9B在预训练阶段引入了GUI Referring Expression Generation (REG)和GUI Referring Expression Comprehension (REC)任务,以构建界面子区域与布局表征的对应关系。在后训练阶段,采用了更科学的GUI agent后训练策略,使模型具备了更强的分析、推理、预测能力。
  • 模型推理及思维链优化:CogAgent-9B将思维链分解为Status(当前屏幕状态)、Plan(全局计划)、Action(下一步自然语言描述)、Operation(下一步形式语言描述),并通过随机采样混合多种模式训练数据,灵活调整和控制推理过程中的实际输出。
  • 动作空间完善:CogAgent-9B明确了基础动作空间,新增了LLM、QUOTE_TEXT、LAUNCH等高级动作,增强了模型的使用工具和交互能力。

如何运行 CogAgent-9B

环境配置

确保已安装 Python 3.10.16 或更高版本,然后安装以下依赖:

pip install -r requirements.txt

本地推理

基于 transformers 进行本地推理,可以运行以下命令:

python inference/cli_demo.py --model_dir THUDM/cogagent-9b-20241220 --platform "Mac" --max_length 4096 --top_k 1 --output_image_path ./results --format_key status_action_op_sensitive

在线Web演示

运行在线Web演示,支持连续图像上传进行交互推理:

python inference/web_demo.py --host 0.0.0.0 --port 7860 --model_dir THUDM/cogagent-9b-20241220 --format_key status_action_op_sensitive --platform "Mac" --output_dir ./results

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
人工智能 中间件 数据库
沐曦 GPU 融入龙蜥,共筑开源 AI 基础设施新底座
沐曦自加入社区以来,一直与龙蜥社区在推动 AIDC OS 的开源社区建设等方面保持合作。
|
人工智能 自然语言处理 测试技术
从人工到AI驱动:天猫测试全流程自动化变革实践
天猫技术质量团队探索AI在测试全流程的落地应用,覆盖需求解析、用例生成、数据构造、执行验证等核心环节。通过AI+自然语言驱动,实现测试自动化、可溯化与可管理化,在用例生成、数据构造和执行校验中显著提效,推动测试体系从人工迈向AI全流程自动化,提升效率40%以上,用例覆盖超70%,并构建行业级知识资产沉淀平台。
从人工到AI驱动:天猫测试全流程自动化变革实践
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
9191 131
|
人工智能 自然语言处理 Shell
我们开源了一款 AI 驱动的用户社区
KoalaQA 是一款开源的 AI 驱动用户社区,支持智能问答、语义搜索、自动运营与辅助创作,助力企业降低客服成本,提升响应效率与用户体验。一键部署,灵活接入大模型,快速构建专属售后服务社区。
1098 5
我们开源了一款 AI 驱动的用户社区
|
人工智能 搜索推荐 UED
一个牛逼的国产AI自动化工具,开源了 !
AiPy是国产开源AI工具,结合大语言模型与Python,支持本地部署。用户只需用自然语言描述需求,即可自动生成并执行代码,轻松实现数据分析、清洗、可视化等任务,零基础也能玩转编程,被誉为程序员的智能助手。
|
人工智能 安全 架构师
开放、协同,2025 云栖大会“操作系统开源与 AI 进化分论坛”精彩回顾
唯有通过生态开放与技术共享,才能加速 AI 技术的普惠与产业化落地。
|
存储 人工智能 自然语言处理
拔俗AI自动化评价分析系统:让数据说话,让决策更智能
在用户体验为核心的时代,传统评价分析面临效率低、洞察浅等痛点。本文基于阿里云AI与大数据技术,构建“数据-算法-应用”三层智能分析体系,实现多源数据实时接入、情感与主题精准识别、跨模态融合分析及实时预警,助力企业提升运营效率、加速产品迭代、优化服务质量,并已在头部电商平台成功落地,显著提升用户满意度与商业转化。
960 0
|
Web App开发 人工智能 JavaScript
入门指南:使用 Playwright MCP Server 为你的 AI Agent 赋予浏览器自动化能力
借助Playwright MCP Server,AI助手可实现网页自动操作:填表、抓数据、执行重复任务。通过MCP协议连接AI与浏览器,让AI从“能说”变为“会做”。支持主流浏览器,配置简单,助力打造智能数字助手。

热门文章

最新文章