Agent-E:基于 AutoGen 代理框架构建的 AI 浏览器自动化系统

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: Agent-E 是一个基于 AutoGen 代理框架构建的智能自动化系统,专注于浏览器内的自动化操作。它能够执行多种复杂任务,如填写表单、搜索和排序电商产品、定位网页内容等,从而提高在线效率,减少重复劳动。本文将详细介绍 Agent-E 的功能、技术原理以及如何运行该系统。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:Agent-E 能够执行多种浏览器内的自动化任务,如表单填写、电商搜索与排序、内容定位等。
  2. 技术原理:基于 AutoGen 代理框架,使用代理执行任务,并通过技能库和自然语言交互实现自动化。
  3. 运行方法:提供了详细的安装和配置指南,以及如何通过命令行运行 Agent-E。

正文(附运行示例)

Agent-E 是什么

公众号: 蚝油菜花 - Agent-E

Agent-E 是基于 AutoGen 代理框架构建的智能自动化系统,专注于浏览器内的自动化操作。它通过自然语言交互,能够执行多种复杂任务,如填写表单、搜索和排序电商产品、定位网页内容等。Agent-E 的目标是提高在线效率,减少重复劳动,让用户更专注于重要事务。

Agent-E 的核心在于其基于代理的架构,通过代理(如用户代理和浏览器导航代理)执行任务。系统围绕技能库构建,技能库包含一系列预定义的动作(技能),分为感知技能和行动技能。自然语言交互使得用户可以用自然语言与浏览器互动,让任务执行更加直观。

Agent-E 的主要功能

  • 表单填写:自动填写网络表单,包括个人信息输入。
  • 电商搜索与排序:在电商网站如亚马逊上根据销量或价格等标准搜索和排序产品。
  • 内容定位:在网站上查找特定内容,如体育比分或大学联系信息。
  • 媒体交互:与基于网络的媒体互动,包括播放 YouTube 视频和管理播放设置。
  • 网络搜索:执行全面的网络搜索,收集各种主题的信息。
  • 项目管理自动化:在项目管理平台如 JIRA 上过滤问题和自动化工作流程。

Agent-E 的技术原理

  • 基于代理的架构:基于 AutoGen 代理框架,用代理(如用户代理和浏览器导航代理)执行任务。
  • 技能库:核心功能围绕技能库构建,技能库包含一系列预定义的动作(技能),分为感知技能和行动技能。
  • 自然语言交互:支持用户用自然语言与浏览器互动,让任务执行更加直观。
  • DOM 蒸馏:基于 DOM 蒸馏技术,Agent-E 将 HTML DOM 简化为相关的 JSON 快照,专注于用户任务相关的元素。
  • 变化观察:执行动作后,Agent-E 监测状态变化,用语言反馈形式提供给 LLM,指导更准确的性能。
  • 层次化规划:采用层次化规划,将复杂任务分解为子任务,由不同级别的代理处理。

如何运行 Agent-E

快速开始

  1. 运行安装脚本
  • macOS/Linux
    ./install.sh
    
    如果需要安装 Playwright,可以使用 -p 标志:
    ./install.sh -p
    
  • Windows
    .\win_install.ps1
    
    如果需要安装 Playwright,可以使用 -p 标志:
    .\win_install.ps1 -p
    
  1. 配置环境变量
  • 编辑 .envagents_llm_config.json 文件,按照说明设置字段。
  1. 运行 Agent-E
    python -m ae.main
    
    macOS 用户
    python -u -m ae.main
    

手动设置

  1. 安装 uv
  • macOS/Linux
    curl -LsSf https://astral.sh/uv/install.sh | sh
    
  • Windows
    powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
    
  1. 设置虚拟环境

    uv venv --python 3.11  # 3.10+ 也可以
    source .venv/bin/activate  # Windows: .venv\Scripts\activate
    
  2. 安装依赖

    uv pip compile pyproject.toml -o requirements.txt
    uv pip install -r requirements.txt
    
  3. 配置环境

    cp .env-example .env
    
  • 编辑 .env 文件,设置以下变量:
    • AUTOGEN_MODEL_NAME
    • AUTOGEN_MODEL_API_KEY
    • AUTOGEN_MODEL_BASE_URL(可选)
    • AUTOGEN_MODEL_API_TYPE(可选)
    • AUTOGEN_MODEL_API_VERSION(可选)
    • AUTOGEN_LLM_TEMPERATURE(可选)
    • AUTOGEN_LLM_TOP_P(可选)
    • BROWSER_STORAGE_DIR(可选)

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
10天前
|
Web App开发 人工智能 自然语言处理
Playwright MCP浏览器自动化指南
本文教你如何通过Playwright MCP让AI直接操作浏览器,自动运行和调试代码,无需手动切换界面。只需简单配置,即可用自然语言指挥AI完成页面操作、问题排查与自主修复,真正实现自动化高效开发。
|
17天前
|
存储 人工智能 测试技术
手把手带你入门AI智能体:从核心概念到第一个能跑的Agent
AI智能体是一种能感知环境、自主决策并执行任务的人工智能系统。它不仅能生成回应,还可通过工具使用、计划制定和记忆管理完成复杂工作,如自动化测试、脚本编写、缺陷分析等。核心包括大语言模型(LLM)、任务规划、工具调用和记忆系统。通过实践可逐步构建高效智能体,提升软件测试效率与质量。
|
18天前
|
存储 人工智能 搜索推荐
一种专为AI代理设计的内存层,能够在交互过程中记忆、学习和进化
Mem0 是专为 AI 代理设计的内存层,支持记忆、学习与进化。提供多种记忆类型,可快速集成,适用于开源与托管场景,助力 AI 代理高效交互与成长。
217 123
一种专为AI代理设计的内存层,能够在交互过程中记忆、学习和进化
|
20天前
|
人工智能 自然语言处理 监控
Browser Use:打造你的浏览器自动化助手
你是否曾希望用简单的一句话就能让浏览器自动填表、抓数据或做测试?Browser Use 让这成为现实。它结合了语言模型的智能和传统自动化的稳定,能听懂自然语言指令,自己规划步骤,还能应对网页变动和错误。无论是开发者还是普通用户,都能用它高效完成日常操作,省时省力。安装简单,写行指令就能马上体验。
|
23天前
|
存储 人工智能 运维
AI 网关代理 RAG 检索:Dify 轻松对接外部知识库的新实践
Higress AI 网关通过提供关键桥梁作用,支持 Dify 应用便捷对接业界成熟的 RAG 引擎。通过 AI 网关将 Dify 的高效编排能力与专业 RAG 引擎的检索效能结合,企业可在保留现有 Dify 应用资产的同时,有效规避其内置 RAG 的局限,显著提升知识驱动型 AI 应用的生产环境表现。
529 60
|
17天前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
238 22
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:IndexTTS2–B站、HuMo、Stand-In视觉生成框架、Youtu-GraphRAG、MobileLLM-R1–Meta、PP-OCRv5
AI Compass前沿速览:IndexTTS2–B站、HuMo、Stand-In视觉生成框架、Youtu-GraphRAG、MobileLLM-R1–Meta、PP-OCRv5
AI Compass前沿速览:IndexTTS2–B站、HuMo、Stand-In视觉生成框架、Youtu-GraphRAG、MobileLLM-R1–Meta、PP-OCRv5
|
10天前
|
人工智能 Java 开发者
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~
JManus是阿里开源的Java版OpenManus,基于Spring AI Alibaba框架,助力Java开发者便捷应用AI技术。支持多Agent框架、网页配置、MCP协议及PLAN-ACT模式,可集成多模型,适配阿里云百炼平台与本地ollama。提供Docker与源码部署方式,具备无限上下文处理能力,适用于复杂AI场景。当前仍在完善模型配置等功能,欢迎参与开源共建。
346 1
阿里出手!Java 开发者狂喜!开源 AI Agent 框架 JManus 来了,初次见面就心动~

热门文章

最新文章