我不会python爬虫,所以想通过mcp来实现聊天就能采集数据
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
最近刚好用了一款专门用来采集数据的mcp服务,叫作brightdata-mcp,特点是可以绕过反爬检测。
我是在cursor配置的brightdata-mcp,好像是亮数据开发的mcp服务,它之前专门做数据采集api和ip代理的,相对比较专业吧。
这个mcp用下来有4个功能比较不错,第一是搜索功能,可以调用直接搜索谷歌并返回搜索数据;
第二是采集网页,能够采集整个网站所有的页面,就非常强了;
第三是访问查看各种网站公开内容,而且内置了解锁服务,不需要自己去应对反爬虫机制;
第四能实现浏览器自动化,可以设置prompt,让mcp自己去自动化操作浏览器完成任务。
所以从目前看bright data mcp采集数据能力比较强了,而且不光cursor,trae、claude等主流agent都能配置,门槛不高的。
阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi