据说MCP可以自主的进行工作,不需要人工参与,我想用它来采集shu'j数据
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
现在playwright、fecth、brightdata这几个mcp都可以采集数据,用在智能体里,playwright主要是操作浏览器,来请求网页数据,优点是可以处理动态加载,fetch适合网页解析,brightdata则适合处理反爬限制。
我用下来感觉brightdata-mcp更适合作为爬虫智能体的采集工具,因为现在很多网站都会识别并限制爬虫程序,如果不部署应对反爬的技术,比如ip池代理、验证码解锁等,很难能稳定获取数据。
brightdata-mcp由于使用了亮数据的网页解锁能力,所以可以绕过反爬检测,能轻松获取到复杂网页数据,对于搭建爬虫工具来说非常的省事。