现在MCP很流行,想知道什么MCP适合作为爬虫工具?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
刚好我以前做过类似的项目,是监测某平台手机的库存情况,我是基于Cline搭配brightdata-mcp来创建Agent的,能支持每小时自动采集数据,然后存储到mysql数据库里,并将历史数据整理成可视化看板,整个过程完全不需要人参与。
1、为什么使用cline,因为可以在vscode中搭建agent和配置mcp,比较方便。
2、为什么使用brightdata-mcp采集数据,因为它是亮数据开发的专门用于网络数据采集的mcp,能绕过电商平台的爬虫检测,比如IP被封、验证码识别、浏览器指纹伪装,不需要自己在编写解析规则、配置代理ip等。
3、可以在Cline中先创建一个智能体,配置brightdata-mcp信息,至于api key需要去亮数据申请。
4、设置默认prompt,告诉agent去调用mcp,并完成数据采集、存储、分析的任务。