现在工作流很流行,我想用n8n搭建一个爬虫工具,来自动化采集电商数据。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
我前不久刚刚在公司本地服务器上搭建了一个n8n工作流,结合亮数据的网页解锁API,可以实现电商平台的数据采集,蛮好用的,这里讲下流程,或许能帮到你。
先说下n8n,它是通过docker来部署,基于web的AI工作流应用。亮数据是专门用来进行复杂网页采集的接口,内置了解锁验证码技术,并且可以自动切换代理ip,它能很好的部署在n8n上。
具体流程,首先要在n8n新建工作流。拖入“HTTP请求”节点,选POST方法,URL填亮数据API地址。然后是配置请求头,最后解析数据。
阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi