当然是公开数据
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
之前有个教训,给一个跨境电商站写了并发 50 的采集,一小时后 IP 就进黑名单了。频控这事没有万能数字,跟目标站流量有关,但有几条通用的:避开对方整点高峰、单 IP 请求间隔留随机抖动、重要任务降低并发延长周期。
后来用亮数据的 API 时可以在请求里设置并发和延迟,接口按需处理。另外别忘了 robots.txt 和对方的服务条款,公开数据不等于随便采,采集前把用途和范围想清楚,这是底线不是可选项。它的服务条款里对可采集的数据范围也有明确约定,注册时看一遍不吃亏。