3分钟采集134篇AI文章！深度解析如何通过云无影AgentBay实现25倍并发 + LlamaIndex智能推荐

from agentbay import AgentBay
from agentbay.session_params import CreateSessionParams
from agentbay.browser import BrowserOption
from playwright.async_api import async_playwright
# 创建云端浏览器环境
agent_bay = AgentBay()
params = CreateSessionParams(image_id="browser_latest")
session = agent_bay.create(params).session
# 初始化浏览器
await session.browser.initialize_async(BrowserOption())
endpoint = session.browser.get_endpoint_url()
# 用 Playwright 连接云端浏览器
async with async_playwright() as p:
    browser = await p.chromium.connect_over_cdp(endpoint)
    context = browser.contexts[0]
    page = await context.new_page()
    
    # 现在可以像本地浏览器一样操作
    await page.goto("https://www.csdn.net")
    # ... 采集逻辑

阶段 1: Session 级并发(采集链接)
├── Session 1 → CSDN (100 篇)
├── Session 2 → OSChina (100 篇)  } 3 个 Session 并发
└── Session 3 → InfoQ (100 篇)
阶段 2: Session 复用 + 动态扩展(采集内容)
├── 复用 Session 1-3 (来自阶段1)
├── 新建 Session 4-5 (动态扩展)
└── 5 个 Session × 5 Tabs = 25 倍并发

# 阶段 1: 并发创建 3 个 Session 并采集链接
tasks = [
    create_session_and_collect(agent_bay, "CSDN", 100),
    create_session_and_collect(agent_bay, "OSChina", 100),
    create_session_and_collect(agent_bay, "InfoQ", 100),
]
sessions, endpoints, links = await asyncio.gather(*tasks)
# 阶段 2: 复用 3 个 Session + 新建 2 个 Session
# 将 184 篇链接分配给 5 个 Session
for session in range(5):
    if session < 3:
        # 复用阶段 1 的 Session
        reuse_session(sessions[session])
    else:
        # 动态创建新 Session
        new_session = await create_additional_session()
    
    # 每个 Session 使用 5 个 Tab 并发采集
    await collect_with_tabs(session, articles_batch, tabs=5)

from llama_index.llms.openai import OpenAI
# 配置 LLM
llm = OpenAI(model="gpt-3.5-turbo", temperature=0.3)
# 分析文章并生成推荐
for article in top_articles:
    prompt = f"""
    请分析这篇技术文章:
    标题: {article['title']}
    内容: {article['content'][:1500]}
    
    请提供:
    1. 内容摘要(2-3句话)
    2. 推荐理由(2-3个要点)
    """
    
    response = llm.complete(prompt)
    article['summary'] = extract_summary(response)
    article['reasons'] = extract_reasons(response)

传统 LLM:
问题 → LLM → 答案(可能不准确)
RAG 系统:
问题 → Embedding → 向量检索 → 相关文档
                                    ↓
答案 ← LLM ← 问题 + 相关文档

from llama_index.core import Document, VectorStoreIndex, Settings
from llama_index.embeddings.openai import OpenAIEmbedding
# 1. 配置 Embedding 模型
Settings.embed_model = OpenAIEmbedding(model="text-embedding-3-large")
# 2. 转换为 Document
documents = [
    Document(
        text=f"Title: {a['title']}\n\nContent: {a['content']}",
        metadata={'title': a['title'], 'url': a['url']}
    )
    for a in articles_data
]
# 3. 构建向量索引(自动完成: 分块 → Embedding → 存储)
index = VectorStoreIndex.from_documents(documents)
# 4. 智能问答
query_engine = index.as_query_engine(llm=llm, similarity_top_k=5)
response = query_engine.query("AI Agent 开发有哪些最佳实践?")
print(response)

AgentBay SDK          LlamaIndex
    ↓                     ↓
数据采集层  --------→  数据理解层
(Browser Use)        (LLM + RAG)
    ↓                     ↓
并发加速层  --------→  知识沉淀层
(Session 多开)       (Vector Index)

from llama_index.tools.agentbay import (
    create_browser_agent_tools,  # 浏览器自动化工具集
    create_code_agent_tools,      # 代码执行工具集
)
# 创建 AgentBay 浏览器工具
browser_tools = create_browser_agent_tools()
# 创建 LlamaIndex Agent，配置工具
from llama_index.core.agent import ReActAgent
agent = ReActAgent.from_tools(browser_tools, llm=llm)
# Agent 可以自主调用 AgentBay 工具
response = agent.chat("采集 CSDN 上关于 AI Agent 的文章")

from agentbay import AgentBay
from agentbay.session_params import CreateSessionParams
# 1. 创建客户端
agent_bay = AgentBay()
# 2. 创建浏览器环境
params = CreateSessionParams(image_id="browser_latest")
session = agent_bay.create(params).session
# 3. 使用环境
# ... 业务逻辑 ...
# 4. 清理资源(重要!)
agent_bay.delete(session)

from agentbay import AgentBay
from agentbay.session_params import CreateSessionParams
from agentbay.browser import BrowserOption, BrowserViewport
from playwright.async_api import async_playwright
async def main():
    # Step 1: 创建 AgentBay 客户端
    agent_bay = AgentBay(api_key="your-api-key")
    
    # Step 2: 创建浏览器 Session
    params = CreateSessionParams(image_id="browser_latest")
    session_result = agent_bay.create(params)
    
    if session_result.success:
        session = session_result.session
        print(f"Session created: {session.session_id}")
        
        # Step 3: 初始化浏览器(可选配置)
        browser_option = BrowserOption(
            user_agent="Mozilla/5.0 ...",  # 自定义 UA
            viewport=BrowserViewport(width=1920, height=1080)  # 自定义视口
        )
        if await session.browser.initialize_async(browser_option):
            print("Browser initialized successfully")
            
            # Step 4: 获取 CDP 端点
            endpoint_url = session.browser.get_endpoint_url()
            
            # Step 5: 用 Playwright 连接
            async with async_playwright() as p:
                browser = await p.chromium.connect_over_cdp(endpoint_url)
                context = browser.contexts[0]
                page = await context.new_page()
                
                # Step 6: 像本地浏览器一样操作
                await page.goto("https://www.example.com")
                title = await page.title()
                print(f"Page title: {title}")
                
                await browser.close()
        
        # Step 7: 清理资源
        agent_bay.delete(session)

# 创建 3 个 Session，分别采集 3 个网站
async def create_sessions():
    agent_bay = AgentBay()
    
    # 并发创建 3 个 Session
    tasks = [
        create_session_for_platform(agent_bay, "CSDN"),
        create_session_for_platform(agent_bay, "OSChina"),
        create_session_for_platform(agent_bay, "InfoQ"),
    ]
    
    # 等待所有 Session 创建完成
    sessions = await asyncio.gather(*tasks)
    
    return sessions
# 每个 Session 内部使用 5 个 Tab 并发
async def collect_with_tabs(session, endpoint, articles):
    async with async_playwright() as p:
        browser = await p.chromium.connect_over_cdp(endpoint)
        context = browser.contexts[0]
        
        # 分批处理，每批 5 个 Tab
        for i in range(0, len(articles), 5):
            batch = articles[i:i+5]
            
            # 并发创建 5 个 Tab
            tasks = [ ]
            for article in batch:
                page = await context.new_page()
                task = collect_article(page, article)
                tasks.append(task)
            
            # 等待当前批次完成
            await asyncio.gather(*tasks)

阶段 1: Session 级并发(3x)
├── Session 1 (CSDN) → 采集链接
├── Session 2 (OSChina) → 采集链接
└── Session 3 (InfoQ) → 采集链接
    ↓ 收集文章链接
阶段 2: Session 复用 + 扩展 + Tab 并发
├── Session 1 (复用) ─┬─ Tab 1-5
├── Session 2 (复用) ─┼─ Tab 1-5
├── Session 3 (复用) ─┼─ Tab 1-5
├── Session 4 (新建) ─┼─ Tab 1-5
└── Session 5 (新建) ─┴─ Tab 1-5
总并发度: 5 × 5 = 25x
实际采集: 134 篇高质量文章
平台分布: CSDN 58篇 | OSChina 53篇 | InfoQ 23篇

AgentBay 工具集成
    ↓
采集的文章(AgentBay)
    ↓
转换为 Document
    ↓
构建向量索引(LlamaIndex)
    ↓
智能分析和推荐(LLM)
    ↓
知识问答(RAG)

from llama_index.tools.agentbay import (
    create_browser_agent_tools,  # 浏览器自动化工具
    create_code_agent_tools,      # 代码执行工具
    AgentBaySessionManager,       # Session 管理器
)
# 方式1: 使用预配置的工具集(推荐)
browser_tools = create_browser_agent_tools()
code_tools = create_code_agent_tools()
# 方式2: 自定义 Session 管理
session_manager = AgentBaySessionManager(api_key="your-key")
browser_tools = create_browser_agent_tools(session_manager)

from llama_index.core.agent import ReActAgent
from llama_index.llms.openai import OpenAI
# 创建工具
tools = create_browser_agent_tools()
# 创建 Agent
llm = OpenAI(model="gpt-3.5-turbo")
agent = ReActAgent.from_tools(tools, llm=llm, verbose=True)
# Agent 自主使用工具
response = agent.chat("访问 example.com 并提取主标题")

# Agent 驱动的方式(未来可能)
agent = ReActAgent.from_tools(
    create_browser_agent_tools(),
    llm=llm
)
# Agent 自主规划和执行
response = agent.chat("""
从 CSDN、OSChina、InfoQ 采集关于 AI Agent 的文章，
构建知识库，并推荐 Top 10 最有价值的文章。
""")

from llama_index.core import Document, VectorStoreIndex, Settings
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.llms.openai import OpenAI
print("\n" + "="*80)
print("🧠 Step 2: Building RAG Knowledge Base")
print("="*80)
# Step 1: 配置 Embedding 模型
print("\n1️⃣ Configuring embedding model...")
Settings.embed_model = OpenAIEmbedding(model="text-embedding-3-large")
Settings.chunk_size = 1024      # 文本分块大小
Settings.chunk_overlap = 100    # 块之间的重叠
print(f"   • Model: text-embedding-3-large")
print(f"   • Chunk size: 1024")
print(f"   • Chunk overlap: 100")
# Step 2: 转换为 LlamaIndex Document
print("\n2️⃣ Converting to documents...")
documents = [ ]
for article in articles_data:
    # 判断是否 AI 相关
    is_ai_related = any(
        keyword.lower() in article['title'].lower()
        for keyword in ['AI', 'Agent', 'LLM', '大模型', 'RAG']
    )
    
    doc = Document(
        text=f"Title: {article['title']}\n\nContent: {article['content']}",
        metadata={
            'title': article['title'],
            'url': article['url'],
            'source': article['source'],
            'content_length': len(article['content']),
            'is_ai_related': is_ai_related,
        }
    )
    documents.append(doc)
ai_count = sum(1 for doc in documents if doc.metadata['is_ai_related'])
print(f"   ✅ Created {len(documents)} documents")
print(f"      • AI/Agent related: {ai_count}")
print(f"      • Other: {len(documents) - ai_count}")
# Step 3: 构建向量索引
print("\n3️⃣ Building vector index...")
print("   (This may take 1-2 minutes)")
index = VectorStoreIndex.from_documents(documents)
print("   ✅ Knowledge base built successfully!")

原始文章(5000 字符)
    ↓ chunk_size=1024, overlap=100
Chunk 1: [0:1024]
Chunk 2: [924:1948]   # 重叠 100 字符
Chunk 3: [1848:2872]
Chunk 4: [2772:3796]
Chunk 5: [3696:4720]

每个 Chunk
    ↓ text-embedding-3-large
1536 维向量

所有向量
    ↓
向量索引(内存)

# 计算综合评分
total_score = (
    relevance_score * 0.5 +      # AI 相关性(50%)
    quality_score * 0.25 +        # 内容质量(25%)
    source_score * 0.15 +         # 来源可信度(15%)
    title_score * 0.1             # 标题质量(10%)
)

from llama_index.llms.openai import OpenAI
llm = OpenAI(model="gpt-3.5-turbo", temperature=0.3)
# 为 Top 10 文章生成摘要和推荐理由
for article in top_10_articles:
    prompt = f"""
    请分析这篇技术文章:
    标题: {article['title']}
    内容: {article['content'][:1500]}
    
    请提供:
    1. 内容摘要(2-3句话)
    2. 推荐理由(2-3个要点)
    """
    
    response = llm.complete(prompt)
    # 解析响应，提取摘要和理由

Top 10 Recommended Articles:
1. LLM 应用评估综合指南（多轮对话系统、RAG、AI Agent）
   来源: InfoQ | 评分: 14.35
   
   📝 内容简介:
   深入探讨LLM应用评估方法，涵盖多轮对话、RAG、智能体的关键评估维度
   
   💡 推荐理由:
   • 深入探讨了现代LLM应用的评估方法
   • 提供了对主流评估框架的功能比较
   • 涵盖传统NLP评估指标到现代LLM基准测试的演进
2. 企业将 Agentic AI 工作负载投入生产的 3 条可行之路
   来源: InfoQ | 评分: 10.60
   
   📝 内容简介:
   探讨AI投资回报率、数据基础、安全治理等关键要素
   
   💡 推荐理由:
   • 深入探讨了企业AI投资回报率、数据基础和安全治理
   • 提供了构建生产就绪型智能体的策略
   • 强调了数据基础的重要性
3. LangChain搭建Agent | 使用initialize_agent
   来源: CSDN | 评分: 10.30
   
   📝 内容简介:
   详细讲解LangChain中Agent的构建方法和实践
   
   💡 推荐理由:
   • 与AI Agent开发直接相关
   • 提供了详细的实现指导和示例
   • 适合开发者快速获取关于LangChain Agent构建的信息
... (完整 Top 10 列表见文章开头的实际运行效果)

# 配置查询引擎
llm = OpenAI(model="gpt-3.5-turbo", temperature=0.1)
query_engine = index.as_query_engine(
    llm=llm,
    similarity_top_k=5  # 检索 Top-5 相关文档
)
# 查询示例 (基于实际运行结果)
question = "Qwen相关"
response = query_engine.query(question)
# 输出结果:
# 🤔 问题: Qwen相关
#
# 💡 回答:
# Qwen是一个推理模型，具有强大的语言理解和推理能力。
# Qwen3-Max-Thinking是Qwen3-Max-Preview的增强版本，能在高水平
# 数学推理竞赛中实现100%的正确率。该模型支持多种任务，包括编程、
# 常识推理、对话生成等...
#
# 📚 参考来源（共 2 篇文章）:
#    [1] 【Agent】Qwen-Agent框架代码解读和MCP应用
#        来源: CSDN | 相关度: 0.558
#    [2] Qwen"半成品"推理模型刷下 AIME 满分...
#        来源: InfoQ | 相关度: 0.510

1. 问题 Embedding
   "AI Agent 开发有哪些最佳实践?"
       ↓ text-embedding-3-large
   1536 维向量
2. 向量相似度检索
   问题向量 vs 所有文档向量
       ↓ 余弦相似度
   Top-5 最相关的文档块
3. 构建 Prompt
   System: 你是一个AI助手...
   Context: [Top-5 文档内容]
   Question: AI Agent 开发有哪些最佳实践?
4. LLM 生成答案
   GPT-3.5-turbo
       ↓
   基于文档的准确答案

问题: LLM相关
答案:
LLM是指大语言模型（Large Language Model），是一种人工智能模型。LLM模型具有
定义清晰、特点明显和应用前景广阔的特点。通过深度解析LLM，可以更好地理解其
在自然语言处理领域的重要性和应用前景。近期有关LLM的文章涵盖了从入门到精通
的详细介绍，包括模型原理、算法、大数据等方面的内容，帮助读者全面了解和掌握
这一技术。
📚 参考来源（共 4 篇文章）:
1. 一文搞懂LLM大模型！LLM从入门到精通万字长文（2024.12月最新）
   来源: CSDN | 相关度: 0.582
2. 一文搞懂LLM大模型！LLM从入门到精通万字长文,看这篇就够了（2025.8月最新）
   来源: CSDN | 相关度: 0.528
3. 用中学数学理解 LLM
   来源: OSChina | 相关度: 0.513
4. LLM（大语言模型）深度解析：定义、特点与应用前景
   来源: CSDN | 相关度: 0.504

AgentBay 负责"数据获取"层 + LlamaIndex 负责"数据理解"层 = 完整的智能应用

AgentBay Browser Use
    ↓ 定期采集竞品官网和文档
LlamaIndex RAG
    ↓ 构建竞品知识库
LLM 分析
    ↓ 生成竞品分析报告

AgentBay Browser Use
    ↓ 采集开源项目文档
LlamaIndex RAG
    ↓ 构建文档知识库
智能问答
    ↓ 开发者自然语言查询

AgentBay Browser Use
    ↓ 采集电商平台价格
LlamaIndex
    ↓ 构建价格历史数据库
LLM 分析
    ↓ 价格趋势预测

AgentBay Browser Use
    ↓ 采集用户生成内容
LlamaIndex + LLM
    ↓ 内容分类和审核
自动标记
    ↓ 违规内容处理

AgentBay Browser Use
    ↓ 采集 arXiv 等论文
LlamaIndex RAG
    ↓ 构建论文知识库
LLM 分析
    ↓ 论文摘要和关联分析