我是做3C电子产品个人站的,经常需要分析跨境电商商品的流行度和趋势,请问怎么采集数据?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
这两种技术方案我觉得都可以,看个人的技术能力和使用场景,需要明确一点的是电商数据的采集其实非常复杂,可不是简单用python requests写个请求脚本就能搞定,其中涉及到反爬机制、合法合规等。
1、如果你python技术不错,能掌握各种爬虫库和前端知识,且抓取的是小批量数据,对稳定性没要求,那可以自己写selenium或者requests脚本来抓取。
2、如果你是公司用数据或者要采集大批量数据,建议用亮数据的api,主要因为它是现成的采集方案,稳定性高,主要是内置代理IP池和验证码破解等服务,采集成功率高,能搞定大批量数据集。
而且用亮数据的接口可以直接获得架构化的json数据,不需外额外极解析处理,时间成本低很多。
你也不用担心合规性,它都遵循网站robot协议,和更高规则的数据保护协议,没有啥风险,比较放心。