比如playwright mcp，brightdata-mcp之类，可以通过提示语自动采集数据
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
确实AI逐渐在替代人工进行数据爬虫开发，而且这个趋势会也来越快，你会发现诸如deepseek、claude这样的大模型在写爬虫脚本上很厉害，而且可以结合brightdata-mcp、playwright-mcp搭建数据采集agent，实现自动化采集数据。
这里介绍下为什么要用brightdata-mcp来协助ai搭建爬虫agent？ai爬虫的优势是能自主分析站点结构、动态调整爬取逻辑、解析非结构化数据，不用人工逐条写xpath或正则，可是它解决不了反爬、IP封禁、访问环境合规这些复杂问题。
而brightdata-mcp就可以处理这些爬虫限制，它的全球合规节点池、原生级浏览器指纹、自动适配的请求策略，能把爬取的底层稳定性拉满，不用我们额外花精力搭代理池、调指纹参数，省下来的时间全可以投入到爬虫 agent 的策略优化、数据解析逻辑打磨上。
你可以理解大模型是大脑，mcp是手脚，大脑负责指挥怎么采集数据，mcp负责解决具体的问题。
