我想用AI采集数据,如何部署和使用MCP服务,比如brightdata-mcp?

最近需要分析一些海外职位数据,所以准备在公司AI大模型上部署用MCP来做这个事,请问怎么实现?

展开
收起
py世界 2025-10-26 23:05:38 19 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    概括为以下几步:

    步骤关键任务说明与提示
    1. 获取凭据注册Bright Data并获取API密钥在控制台找到API密钥用户身份验证字符串
    2. 配置MCP服务编写MCP服务器配置文件使用npx命令运行,在配置中填入你的API密钥身份验证字符串
    3. 集成与使用将MCP服务配置到你的AI应用或智能体中在智能体平台(如Trae)配置MCP服务,并设置提示词指导AI调用工具。

    🛠️ 注意事项

    • 数据合规性:Bright Data在数据抓取和存储过程中遵守全球数据隐私法规,使用起来相对合规安全。
    • 免费额度:Bright Data通常会提供免费试用额度,足够用于前期的测试和验证。

    Bright Data MCP 服务的部署和使用示例:

    1. 安装和配置

    # 安装 MCP 客户端
    npm install @modelcontextprotocol/sdk
    

    2. 创建 MCP 服务器配置

    // brightdata-mcp-server.js
    import { Server } from '@modelcontextprotocol/sdk/server/index.js';
    import { StdioServerTransport } from '@modelcontextprotocol/sdk/server/stdio.js';
    import { BrightDataClient } from 'brightdata-mcp-client';
    
    const server = new Server({
      name: 'brightdata-mcp',
      version: '1.0.0',
    });
    
    // 初始化 Bright Data 客户端
    const brightData = new BrightDataClient({
      apiKey: process.env.BRIGHT_DATA_API_KEY,
      authentication: process.env.BRIGHT_DATA_AUTH
    });
    
    // 注册搜索工具
    server.setRequestHandler(ListToolsRequestSchema, async () => {
      return {
        tools: [
          {
            name: 'search_jobs',
            description: '搜索海外职位数据',
            inputSchema: {
              type: 'object',
              properties: {
                query: { type: 'string', description: '搜索关键词' },
                location: { type: 'string', description: '职位地点' },
                limit: { type: 'number', description: '返回结果数量' }
              },
              required: ['query']
            }
          }
        ]
      };
    });
    

    3. 使用示例

    # 使用 Bright Data MCP 采集职位数据
    import asyncio
    from mcp_client import McpClient
    
    async def collect_job_data():
        client = McpClient("brightdata-mcp-server.js")
    
        # 搜索数据科学家职位
        result = await client.call_tool(
            "search_jobs",
            {
                "query": "数据科学家",
                "location": "美国",
                "limit": 50
            }
        )
    
        # 处理返回的职位数据
        jobs = result.content
        for job in jobs:
            print(f"职位: {job.title}")
            print(f"公司: {job.company}")
            print(f"地点: {job.location}")
            print("---")
    
        return jobs
    
    # 运行采集
    asyncio.run(collect_job_data())
    

    4. 环境变量配置

    # .env 文件
    BRIGHT_DATA_API_KEY=your_api_key_here
    BRIGHT_DATA_AUTH=your_auth_string_here
    MCP_SERVER_PATH=./brightdata-mcp-server.js
    

    这样你就可以通过 AI 模型直接调用 MCP 工具来采集和分析海外职位数据了。

    2025-10-27 16:47:07
    赞同 展开评论
  • 这个问题我太有资格回答了,因为我上个月才给公司部署了个AI爬虫智能体,其中就有MCP服务。
    想要使用MCP,首先的知道什么是MCP,它叫模型上下文协议,你可以理解成大模型的USB插口,能连接外部工具和数据。
    接下里就讲讲怎么部署MCP,以我用的爬虫服务brightdata-mcp为例,它是专门采集网页数据和搜索内容,可以绕过反爬,相当稳定。
    1、你需要去亮数据申请key,获取brightdata-mcp的配置信息,就是一串json代码。
    2、打开claude或者trae,在里面创建智能体,然后配置上brightdata-mcp
    3、设置默认提示语,让智能体记得调用mcp
    这样就配置好了一个MCP服务,你可以在智能体中调用它,非常简单,可以试试看。

    2025-10-26 23:35:06
    赞同 3 展开评论

阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi

还有其他疑问?
咨询AI助理