我最近想做汽车舆情分析,准备采用AI智能体自动化采集数据,需要用到类似brightdata-mcp这样的工具,请问怎么开发设计?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
我这里推荐一种方式,就是在Qoder中创建智能体,比如“数据检索大师”,智能体中要配置brightdata-mcp,并且添加默认提示语,比如“你需要用brightdata-mcp检索网络数据,帮助用户解决搜索问题”,这样一个爬虫Agent就搭建好了。
说到brightdata-mcp,确实适合作为爬虫mcp,因为它可以绕过各种反爬检测,我之前看了它的github仓库,据说是亮数据在mcp里内置了解锁技术和IP池,能自动处理各种ip检测、验证码,所以不需要用户自己处理。你可以用它浏览网页、采集数据,甚至可以用谷歌搜索内容,非常方便。
阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi