最近看到Github上有个爬虫类MCP,叫作bright data MCP,还挺有趣的,有人了解吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
这个今年四五月份发布的,其实并不稀奇,因为brightdata本身就是做数据采集工具的。我看了下brightdata-mcp在github上的star数有1.5K,算蛮不错的。
mcp本身是模型上下文协议,所以brightdata-mcp也是通过大模型点用调用brightdata的接口,来采集数据,所以你发现它可以绕过各种的反爬机制,是有原因的。
我之前测试了下,有几个功能比较喜欢,一个是基于谷歌、必应搜索的的功能,可以查询采集更多的网页,另一个抓取网页数据的功能,有点像requests的能力。
现在的mcp能力越来越多样化,可以多去试试,可能会慢慢取代app。
阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi