PC Agent:开源 AI 电脑智能体,自动收集人机交互数据,模拟认知过程实现办公自动化

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: PC Agent 是上海交通大学与 GAIR 实验室联合推出的智能 AI 系统,能够模拟人类认知过程,自动化执行复杂的数字任务,如组织研究材料、起草报告等,展现了卓越的数据效率和实际应用潜力。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

原文链接:https://mp.weixin.qq.com/s/JC2LdzJVXaplAWl5eXILww


🚀 快速阅读

  1. 功能:PC Agent 能够自动化执行复杂的数字任务,如组织研究材料、起草报告等。
  2. 技术:系统采用多智能体架构,结合规划智能体和定位智能体,实现精准的视觉定位和决策制定。
  3. 应用:PC Agent 在办公自动化、研究与学术、内容创作等领域具有广泛的应用潜力。

正文

PC Agent 是什么

公众号: 蚝油菜花 - PC-Agent

PC Agent 是上海交通大学与 Generative AI Research Lab (GAIR) 联合推出的先进 AI 系统。该系统基于模拟人类认知过程,能够执行如组织研究材料、起草报告和创建演示文稿等复杂数字工作。PC Agent 集成了 PC Tracker,用于高效收集人机交互数据,并通过两阶段认知完成流程将原始数据转化为认知轨迹。

PC Agent 采用多智能体系统架构,结合规划智能体和定位智能体,实现精准的视觉定位和决策制定。系统在少量高质量认知数据训练下,能够处理多达 50 步的复杂工作流程,展现了卓越的数据效率和实际应用潜力。

PC Agent 的主要功能

  • 任务自动化:自动化执行复杂的数字任务,如组织研究材料、起草报告和创建演示文稿。
  • 人机交互数据收集:基于 PC Tracker,收集用户与计算机交互的详细轨迹和认知上下文。
  • 认知轨迹转化:用两阶段认知完成流程,将原始交互数据转换为富含认知信息的轨迹。
  • 复杂工作处理:处理涉及多个应用程序的复杂工作流程,如在 PowerPoint 和浏览器间切换收集资料。
  • 多智能体协作:结合规划智能体和定位智能体,实现决策制定和精确的视觉定位。
  • 少量数据训练:在只有少量认知轨迹数据的训练下,执行复杂的工作流程。

PC Agent 的技术原理

  • PC Tracker
    • 数据收集:在后台运行,记录用户的键盘和鼠标活动,捕获屏幕截图,收集人机交互数据。
    • 事件跟踪:基于事件的跟踪策略,记录关键的用户操作事件,而非连续的视频流,减少存储需求。
    • 动作空间统一:将键盘和鼠标操作封装成统一的动作空间,简化 AI 对人类行为的理解。
  • 认知完成流程
    • 数据精炼:基于轨迹过滤、动作过滤和标准化,优化原始交互数据的质量。
    • 动作语义完成:为点击相关动作补充语义信息,生成点击目标的高质量描述。
    • 思维过程重建:基于动作语义信息,重建每个动作背后的隐含推理过程。
  • 多智能体系统
    • 规划智能体:负责行动决策制定,基于学习人类认知轨迹获得有效规划能力。
    • 定位智能体:负责执行点击相关动作,并具有自验证机制,实现接近人类的精确度。
    • 错误修正机制:当定位智能体发现规划智能体尝试点击的目标在屏幕上不存在时,规划智能体会被提示重新制定行动计划。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
2天前
|
人工智能 自然语言处理 数据可视化
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Data Formulator 是微软研究院推出的开源 AI 数据可视化工具,结合图形化界面和自然语言输入,帮助用户快速创建复杂的可视化图表。
104 9
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
|
4天前
|
人工智能 Linux 开发工具
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Kiln AI 是一款开源的 AI 开发工具,支持零代码微调多种语言模型,生成合成数据,团队协作开发,自动部署。帮助用户快速构建高质量的 AI 模型。
264 7
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
|
5天前
|
人工智能 开发框架 数据可视化
Eino:字节跳动开源基于Golang的AI应用开发框架,组件化设计助力构建AI应用
Eino 是字节跳动开源的大模型应用开发框架,帮助开发者高效构建基于大模型的 AI 应用。支持组件化设计、流式处理和可视化开发工具。
115 27
|
4天前
|
存储 人工智能 NoSQL
Airweave:快速集成应用数据打造AI知识库的开源平台,支持多源整合和自动同步数据
Airweave 是一个开源工具,能够将应用程序的数据同步到图数据库和向量数据库中,实现智能代理检索。它支持无代码集成、多租户支持和自动同步等功能。
47 14
|
2天前
|
人工智能 JSON 搜索推荐
猫步简历 - 开源免费AI简历生成器 | 一键导出PDF/JSON
猫步简历是一款免费开源的AI简历生成器,帮助用户轻松创建独特、专业的简历。支持导出超高清PDF、图片、JSON等多种格式,并提供AI智能创作、润色和多语种切换等功能。拥有海量模板、高度定制化模块及完善的后台管理系统,助力求职者脱颖而出。官网:https://maobucv.com,GitHub开源地址:https://github.com/Hacker233/resume-design。
52 9
|
4天前
|
存储 人工智能 API
ChatGPT-on-WeChat:Star32.4k, DeepSeek加持!这款开源神器秒变AI助手,聊天体验直接起飞!
嗨,大家好,我是小华同学。今天为大家介绍一款结合DeepSeek引擎的开源项目——ChatGPT-on-WeChat,由开发者zhayujie打造。它将微信变成智能AI助手,支持文本、图片、语音对话,具备定时提醒、天气查询等扩展功能,完全开源且易于定制。项目地址:https://github.com/zhayujie/chatgpt-on-wechat。关注我们,获取更多优质开源项目和高效学习方法。
88 11
|
2天前
|
人工智能 编解码 vr&ar
Lumina-Video:上海 AI Lab 开源视频生成框架,动态程度可控,支持多分辨率
Lumina-Video 是由上海 AI Lab 和香港中文大学联合推出的高效视频生成框架,支持高质量视频生成、动态程度控制和多分辨率生成。
54 4
|
1月前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
28天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
189 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
13天前
|
人工智能 自然语言处理 搜索推荐
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
86 23
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人

热门文章

最新文章