最近需要分析一些海外职位数据,所以准备在公司AI大模型上部署用MCP来做这个事,请问怎么实现?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
概括为以下几步:
| 步骤 | 关键任务 | 说明与提示 |
|---|---|---|
| 1. 获取凭据 | 注册Bright Data并获取API密钥 | 在控制台找到API密钥和用户身份验证字符串。 |
| 2. 配置MCP服务 | 编写MCP服务器配置文件 | 使用npx命令运行,在配置中填入你的API密钥和身份验证字符串。 |
| 3. 集成与使用 | 将MCP服务配置到你的AI应用或智能体中 | 在智能体平台(如Trae)配置MCP服务,并设置提示词指导AI调用工具。 |
Bright Data MCP 服务的部署和使用示例:
# 安装 MCP 客户端
npm install @modelcontextprotocol/sdk
// brightdata-mcp-server.js
import { Server } from '@modelcontextprotocol/sdk/server/index.js';
import { StdioServerTransport } from '@modelcontextprotocol/sdk/server/stdio.js';
import { BrightDataClient } from 'brightdata-mcp-client';
const server = new Server({
name: 'brightdata-mcp',
version: '1.0.0',
});
// 初始化 Bright Data 客户端
const brightData = new BrightDataClient({
apiKey: process.env.BRIGHT_DATA_API_KEY,
authentication: process.env.BRIGHT_DATA_AUTH
});
// 注册搜索工具
server.setRequestHandler(ListToolsRequestSchema, async () => {
return {
tools: [
{
name: 'search_jobs',
description: '搜索海外职位数据',
inputSchema: {
type: 'object',
properties: {
query: { type: 'string', description: '搜索关键词' },
location: { type: 'string', description: '职位地点' },
limit: { type: 'number', description: '返回结果数量' }
},
required: ['query']
}
}
]
};
});
# 使用 Bright Data MCP 采集职位数据
import asyncio
from mcp_client import McpClient
async def collect_job_data():
client = McpClient("brightdata-mcp-server.js")
# 搜索数据科学家职位
result = await client.call_tool(
"search_jobs",
{
"query": "数据科学家",
"location": "美国",
"limit": 50
}
)
# 处理返回的职位数据
jobs = result.content
for job in jobs:
print(f"职位: {job.title}")
print(f"公司: {job.company}")
print(f"地点: {job.location}")
print("---")
return jobs
# 运行采集
asyncio.run(collect_job_data())
# .env 文件
BRIGHT_DATA_API_KEY=your_api_key_here
BRIGHT_DATA_AUTH=your_auth_string_here
MCP_SERVER_PATH=./brightdata-mcp-server.js
这样你就可以通过 AI 模型直接调用 MCP 工具来采集和分析海外职位数据了。
这个问题我太有资格回答了,因为我上个月才给公司部署了个AI爬虫智能体,其中就有MCP服务。
想要使用MCP,首先的知道什么是MCP,它叫模型上下文协议,你可以理解成大模型的USB插口,能连接外部工具和数据。
接下里就讲讲怎么部署MCP,以我用的爬虫服务brightdata-mcp为例,它是专门采集网页数据和搜索内容,可以绕过反爬,相当稳定。
1、你需要去亮数据申请key,获取brightdata-mcp的配置信息,就是一串json代码。
2、打开claude或者trae,在里面创建智能体,然后配置上brightdata-mcp
3、设置默认提示语,让智能体记得调用mcp
这样就配置好了一个MCP服务,你可以在智能体中调用它,非常简单,可以试试看。
阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi