据说现在爬虫可以让AI处理了,有什么好用的爬虫MCP吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
我用过不少数据采集类的MCP,比如playwright-mcp,fetch-mcp、brightdata-mcp等,其中用的比较多的是brightdata-mcp,可以采集数据、搜索网页,解锁网页等功能。
我还专门用它做了个显卡监测的智能体,是搭建上n8n的,跑起来很稳定。
用brightdata-mcp的好处是它是基于亮数据的数据采集服务开发的,所以能自主的去处理网站的反爬机制,比如人机验证、ip限制、动态加载等,所以主打一个方便。
其他的爬虫mcp各有各的特点,我觉得按需使用吧。
阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi