❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
原文链接：https://mp.weixin.qq.com/s/JC2LdzJVXaplAWl5eXILww
🚀 快速阅读
- 功能：PC Agent 能够自动化执行复杂的数字任务，如组织研究材料、起草报告等。
- 技术：系统采用多智能体架构，结合规划智能体和定位智能体，实现精准的视觉定位和决策制定。
- 应用：PC Agent 在办公自动化、研究与学术、内容创作等领域具有广泛的应用潜力。
正文
PC Agent 是什么
PC Agent 是上海交通大学与 Generative AI Research Lab (GAIR) 联合推出的先进 AI 系统。该系统基于模拟人类认知过程，能够执行如组织研究材料、起草报告和创建演示文稿等复杂数字工作。PC Agent 集成了 PC Tracker，用于高效收集人机交互数据，并通过两阶段认知完成流程将原始数据转化为认知轨迹。
PC Agent 采用多智能体系统架构，结合规划智能体和定位智能体，实现精准的视觉定位和决策制定。系统在少量高质量认知数据训练下，能够处理多达 50 步的复杂工作流程，展现了卓越的数据效率和实际应用潜力。
PC Agent 的主要功能
- 任务自动化：自动化执行复杂的数字任务，如组织研究材料、起草报告和创建演示文稿。
- 人机交互数据收集：基于 PC Tracker，收集用户与计算机交互的详细轨迹和认知上下文。
- 认知轨迹转化：用两阶段认知完成流程，将原始交互数据转换为富含认知信息的轨迹。
- 复杂工作处理：处理涉及多个应用程序的复杂工作流程，如在 PowerPoint 和浏览器间切换收集资料。
- 多智能体协作：结合规划智能体和定位智能体，实现决策制定和精确的视觉定位。
- 少量数据训练：在只有少量认知轨迹数据的训练下，执行复杂的工作流程。
PC Agent 的技术原理
- PC Tracker：
- 数据收集：在后台运行，记录用户的键盘和鼠标活动，捕获屏幕截图，收集人机交互数据。
- 事件跟踪：基于事件的跟踪策略，记录关键的用户操作事件，而非连续的视频流，减少存储需求。
- 动作空间统一：将键盘和鼠标操作封装成统一的动作空间，简化 AI 对人类行为的理解。
- 认知完成流程：
- 数据精炼：基于轨迹过滤、动作过滤和标准化，优化原始交互数据的质量。
- 动作语义完成：为点击相关动作补充语义信息，生成点击目标的高质量描述。
- 思维过程重建：基于动作语义信息，重建每个动作背后的隐含推理过程。
- 多智能体系统：
- 规划智能体：负责行动决策制定，基于学习人类认知轨迹获得有效规划能力。
- 定位智能体：负责执行点击相关动作，并具有自验证机制，实现接近人类的精确度。
- 错误修正机制：当定位智能体发现规划智能体尝试点击的目标在屏幕上不存在时，规划智能体会被提示重新制定行动计划。
资源
- 项目官网：https://gair-nlp.github.io/PC-Agent
- GitHub 仓库：https://github.com/GAIR-NLP/PC-Agen
- arXiv 技术论文：https://arxiv.org/pdf/2412.17589
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
