Python Crawler – 网信贷黑名单数据爬取

简介:

网信贷黑名单网站截图:

真实数据截图:

我这里想爬取这些个人的信息,但是有些内容是需要登陆才可以查看的,所以先去注册了一个账号。

登陆进来后得到的内容是完整的:

(PS:这里就不激活邮箱了)

– 结构分析&代码编写

这些被黑名单的人信息是首页点入进去的,对比下:

 
 
  1. <tr onclick="localHref('jgp94CtrsB')" class="pointer"

点开后的链接是:

acklist-jgp94CtrsB.html

相信大家一眼就看出来了规律吧,显示的HTML代码中有链接特征。

根据链接的规则我们可以写出这样一段python代码:

 
 
  1. target_url = 'https://*.cc' #设置url 
  2. r = requests.get(target_url) #访问url 
  3. html = r.text#获取html代码 
  4. h = r"localHref(\'(.*?)\')" #正则代码 
  5. h_re = re.compile(h) #生成正则 
  6. href_all = h_re.findall(html) #正则匹配出链接特征 
  7. for i in href_all: #匹配出来的链接特征需要用for遍历 
  8.    url = 'https://*.cc/blacklist-' + i + '.html' #遍历出来组合成url 

现在我要获取的是“姓名、身份证、手机号、微信、支付宝”,这里我使用的是XPATH来获取这些数据,因为这样更简单一些。

大概的来了解下XPATH的语法吧:

这里完全可以使用更快速的方法:

直接使用Firebug或者其它浏览器的Copy XPath:

得到的XPath语法:

 
 
  1. /html/body/div[2]/div/div/h2 

我们要获取的名字是h2标签内的所以直接修改成:

 
 
  1. /html/body/div[2]/div/div/h2/text() 

直接上Python代码:

(注:from lxml import etree 是支持XPath语法的库)

可以看到输出的结果是unicode编码 ,直接解码就显示了:

其他的XPath代码:

 
 
  1. sfzOBJ = htmlOBJ.xpath('//h3[@class="margin_top_15"]/span[@class="inline"]/i[1]/text()') #身份证 
  2. phoneOBJ = htmlOBJ.xpath('//*[@id="body"]/div/div/h3[1]/span[2]/i/text()') #手机号 
  3. wechatOBJ = htmlOBJ.xpath('//*[@id="body"]/div/div/div[3]/span[1]/text()') #微信 
  4. alipayOBJ = htmlOBJ.xpath('//*[@id="body"]/div/div/div[3]/span[2]/text()') #支付宝 

这里要记得加上登陆的Cookie去访问哦:

1.在控制台输入document.cookie获取Cookie

2.带上Cookie请求访问

 
 
  1. geturl = requests.get(url,headers={'Cookie':'__cfduid=d8b7bef3c3b678161d9fe747ccb651cea1499931877; PHPSESSID=mp6oh6j7o03hqd42n06r9p2bii;  
  2. AJSTAT_ok_pages=5; AJSTAT_ok_times=1; _ga=GA1.2.1572452184.1499931870; _gid=GA1.2.2100292624.1499931870'}) 

– 最后

核心的代码都写好了,其他的就是结构的梳理,完善代码:

 
 
  1. import requests,re 
  2. from requests.packages.urllib3.exceptions import InsecureRequestWarning 
  3. requests.packages.urllib3.disable_warnings(InsecureRequestWarning) 
  4. from lxml import etree 
  5. target_url = 'https://www.xinyongheimingdan.cc/' 
  6. cookie = '你的cookie' 
  7. r = requests.get(target_url,headers={ 
  8.     'Cookie':cookie 
  9.     }) 
  10. html = r.text 
  11. h = r"localHref\(\'(.*?)\'\)" 
  12. h_re = re.compile(h) 
  13. href_all = h_re.findall(html) 
  14.  
  15. for i in href_all: 
  16.     url = 'https://www.xinyongheimingdan.cc/blacklist-' + i + '.html' 
  17.     geturl = requests.get(url,headers={ 
  18.             'Cookie':cookie 
  19.             }) 
  20.     urlHTML = geturl.text.encode("utf-8"
  21.     htmlOBJ = etree.HTML(urlHTML) 
  22.     nameOBJ = htmlOBJ.xpath('/html/body/div[2]/div/div/h2/text()'
  23.     sfzOBJ = htmlOBJ.xpath('//h3[@class="margin_top_15"]/span[@class="inline"]/i[1]/text()'
  24.     phoneOBJ = htmlOBJ.xpath('//*[@id="body"]/div/div/h3[1]/span[2]/i/text()'
  25.     wechatOBJ = htmlOBJ.xpath('//*[@id="body"]/div/div/div[3]/span[1]/text()'
  26.     alipayOBJ = htmlOBJ.xpath('//*[@id="body"]/div/div/div[3]/span[2]/text()'
  27.     all_info = nameOBJ,sfzOBJ,phoneOBJ,wechatOBJ,alipayOBJ 
  28.     print all_info 

成果:


本文作者:Peter Winter

来源:51CTO

相关文章
|
5天前
|
数据安全/隐私保护 Python
网络连接有问题?学会用Python下载器在eBay上抓取商品
Python下载器是一种利用Python编程语言编写的程序,可以实现从网站上自动下载网页或文件的功能。Python下载器的优点是可以自定义下载的内容、格式、速度和保存位置,还可以处理各种网络异常和错误,提高下载的效率和稳定性。
网络连接有问题?学会用Python下载器在eBay上抓取商品
|
6月前
|
数据采集 数据可视化 Python
解析python爬取Ebay数据的方式
解析python爬取Ebay数据的方式
|
10月前
|
数据采集 存储 定位技术
Python案例实现|爬取租房网站信息
本实战项目的数据来自于“北京链家网”的租房数据,网址为https://bj.lianjia.com/zufang/。
164 0
Python案例实现|爬取租房网站信息
|
数据采集 存储 JSON
「Python」爬虫-9.Scrapy框架的初识-公交信息爬取
本文将讲解如何使用scrapy框架完成北京公交信息的获取。
644 0
|
11月前
|
数据采集 Python
python使用aiohttp通过设置代理爬取基金数据
python使用aiohttp通过设置代理爬取基金数据
|
测试技术 Python
Python_记一次网站数据定向爬取实现
Python_记一次网站数据定向爬取实现
69 0
|
数据采集 前端开发 搜索推荐
python如何通过分布式爬虫爬取舆情数据
python如何通过分布式爬虫爬取舆情数据
python如何通过分布式爬虫爬取舆情数据
|
数据采集 Python
python爬取数据时IP被禁怎么解决
python3如何使用爬虫代理获取数据
|
数据采集 存储 Python
python使用aiohttp+代理+header爬取安居客
使用aiohttp来爬取网站,使用不同的代理IP和header
|
数据采集 存储 数据库
如何使用python+urllib库+代理IP爬取新闻数据
如何使用python+urllib库+代理IP爬取数据
如何使用python+urllib库+代理IP爬取新闻数据