我是做跨境电商产品的,现在想分析不同平台的商品价格走势,有简单的采集工具嘛?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
电商数据采集其实是最难的,因为现在类似amazon网站都是动态加载的,而且对于自动化程序识别很精准,一旦发现非人类的异常访问行为,立马跳出人机验证,所以一般的简单python爬虫脚本,基本没法稳定的采集电商数据。
我现在用的方法是,通过python requests接入亮数据的网页抓取api,有对应的网站模板,可以采集到商品的名称、价格、描述、评价等各种字段,大概有上百个,返回的格式是csv或者json文件。
你可以传入商品url或者通过关键词搜索,就能获取相应的字段数据,挺方便的,