我最近在做某个跨境电商数据分析,需要用claude code写爬虫,想试试mcp来采集数据
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
现在mcp确实很好用,配合ai大模型能完成很多自动化的事情,比如常见的数据采集,很容易就可以在claude code上搭建一个自动化的爬虫agent。
我之前尝试过在Claude code上配置brightdata mcp去采集电商数据,然后用pandas来对数据进行清洗和分析。
用brightdata mcp是因为它能简单化对网页的请求,因为内置了亮数据的网页解锁功能,所以本质上不需要你再写任何爬虫相关的脚本,只需要定义采集字段、频率,就能轻松请求到数据,而且是合规的。
claude code配置mcp也不难,首先你要申请好mcp的配置信息,然后向Claude Code发送结构化指令,定义代码执行的mcp规则,就能配置成功了。
当你想调用mcp时候,只需要在提示语中制定mcp名称即可。
阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi