打通Agent最后一公里： 用阿里云无影AgentBay+LangChain实现浏览器自动化

python3 -m venv agentbay_langchain_env
source ./agentbay_langchain_env/bin/activate  # Linux/Mac
# 或者在 Windows 上使用: agentbay_langchain_env\Scripts\activate

pip install --upgrade pip

pip install -U langchain-agentbay-integration==0.2.2 wuying-agentbay-sdk==0.15.0
pip install langchain==1.0.3 langchain-openai==1.0.1

export AGENTBAY_API_KEY="your-agentbay-api-key"
export DASHSCOPE_API_KEY="your-dashscope-api-key"

import os
from dataclasses import dataclass
from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_agentbay_integration.toolkits import BrowserIntegrationToolkit
from langchain_agentbay_integration.tools import SessionData
from agentbay import AgentBay, CreateSessionParams
# 定义上下文类，用于传递 session 数据
@dataclass
class AgentContext:
    """必须包含 session_data 字段"""
    session_data: SessionData = None
# 创建 AgentBay 会话
agent_bay = AgentBay()
params = CreateSessionParams(image_id="browser_latest")
result = agent_bay.create(params)
session = result.session
# 初始化工具包
toolkit = BrowserIntegrationToolkit()
toolkit.initialize_browser(session)  # 使用 session 初始化浏览器
tools = toolkit.get_tools()
# 初始化 LLM
llm = ChatOpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    model=os.getenv("DASHSCOPE_MODEL", "qwen3-max")
)
# 使用 LangChain v1.0 的 create_agent 创建代理
agent = create_agent(
    llm,
    tools=tools,
    context_schema=AgentContext,
    system_prompt="""你是一个能够使用 AgentBay 浏览器工具的助手，可以自动化执行网页浏览任务。
    
可用工具：
1. browser_navigate - 在 AgentBay 会话中导航到指定 URL
2. browser_act - 在浏览器页面上执行操作，如点击按钮、填写表单等
3. browser_screenshot - 对当前浏览器页面进行截图
使用这些工具帮助用户完成网页浏览任务。"""
)
# 准备上下文
session_data = SessionData()
session_data.browser_session = session
context = AgentContext(session_data=session_data)
# 执行 SEO 验证任务
example_query = """
任务目标：
验证无影AgentBay官网在百度搜索中的排名情况，只有当搜索结果第一条链接是 https://www.aliyun.com/product/agentbay.html 时才认为验证通过。
任务过程：
下面所有截屏都保存在./snapshots/browser/下面
1. 导航到 https://www.baidu.com/
2. 对页面进行截图，文件名为'0_baidu_first_page.png'
3. 在搜索框中输入"无影AgentBay官网"并点击"百度一下"按钮
4. 对搜索结果页面进行截图，文件名为'1_baidu_search_result_page.png'
5. 点击第一条搜索结果
6. 对最终页面进行截图，文件名为'2_first_search_item.png'
任务返回：
以 JSON 格式返回结果：
{
    "success": true|false,
    "message": "验证通过以及其他消息|验证失败原因"
}
"""
# 执行代理
result = agent.invoke(
    {"messages": [{"role": "user", "content": example_query}]},
    context=context,
    config={"recursion_limit": 500}
)
# 提取并打印最终结果
if "messages" in result and len(result["messages"]) > 0:
    final_message = result["messages"][-1]
    if hasattr(final_message, 'content') and final_message.content:
        print(f"最终结果: {final_message.content}")
    else:
        print(f"最终结果: {final_message}")
else:
    print(f"最终结果: {result}")
# 清理资源
toolkit.cleanup_browser()
agent_bay.delete(session)

python3 baidu_seo_check.py

最终结果: {
    "success": true,
    "message": "验证通过，搜索结果第一条确实指向了 AgentBay 官网"
}

Browser tools loaded: browser_navigate, browser_act, browser_screenshot
AgentBay | INFO | ✅ Session created: s-****whs
AgentBay | INFO | ✅ Browser initialized successfully
[Step 1] browser_navigate -> https://www.baidu.com/
         Output: {"success": true}
[Step 2] browser_screenshot -> ./snapshots/browser/0_baidu_first_page.png
         Output: {"success": true}
[Step 3] browser_act -> Fill '无影AgentBay官网' and click search
         Output: {"success": true, "actions": ["Input text", "Click 百度一下"]}
[Step 4] browser_screenshot -> ./snapshots/browser/1_baidu_search_result_page.png
         Output: {"success": true}
[Step 5] browser_act -> Click first search result
         Output: {"success": true, "action": "Clicked 阿里云官方"}
[Step 6] browser_screenshot -> ./snapshots/browser/2_first_search_item.png
         Output: {"success": true}
最终结果: {
    "success": true,
    "message": "验证通过，搜索结果第一条确实指向了 AgentBay 官网"
}