我是做电商独立站的,最近想要采集一些3C类的商品数据,用来做用户喜好分析,我用的是亮数据采集器,请问怎么用python去调用?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
有不少人用Python的requests采集商品数据,但是又不会写复杂的爬虫脚本,因为没办法绕过跨境电商网站的各种反爬检测,所以要用到亮数据的接口来处理反爬。
我之前刚好用过亮数据,包括他们家的解锁API、远程浏览器等都试过,在网页解锁、ip代理上有很好的效果,可以用requests或者selenium去连接,代码并不难。
比如说,使用requests连接亮数据的解锁器API,先要去申请一个key,然后在亮数据后台添加新通道,它会直接给到请求代码:
import requests
headers = {
"Authorization": "******",
"Content-Type": "application/json"
}
data = {
"zone": "web_unlocker9",
"url": "https://geo.brdtest.com/welcome.txt?product=unlocker&method=api",
"format": "raw"
}
response = requests.post(
"https://api.brightdata.com/request",
json=data,
headers=headers
)
print(response.text)
你只需要在代码中添加请求网址就可以通过解锁API来采集网页数据,这样你就不用自己去处理验证码、ip限制等问题了。