开发者社区> boxti> 正文

从信息泄密谈到爬虫

简介:
+关注继续查看

2016年8月,一位自称“Peace”的黑客声称盗取了2亿雅虎用户账户和密码,并寻求在暗网(dark web)上进行售卖。黑客所声称的2亿条信息的泄露似乎盗取自2012年,同时发生的还有MySpace(3.6亿条)和Linkedln(1亿条)两家网站的信息泄露。

有趣的是 Linkedln 的泄露事件还间接导致了扎克伯格的推特账号被黑。因为扎克伯格在两个网站都使用了同一个密码:“dadada”……

在信息化时代,数据泄露无处不在,这种风险可能来自于我们上网的每一个步骤。下面笔者将介绍一种批量获取信息的方式——爬虫。编程语言基于Python,如果对这门语言不是很熟悉可以先了解下它的语法结构。本文将对于爬虫做一个简单入门介绍。

关于爬虫

我们一直在说的爬虫究竟是个什么鬼?

网络爬虫(web crawler),是一个自动提取网页的程序,它为搜索引擎从网路上下载网页。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索。

(摘自百度百科)

简单来讲,爬虫是通过程序或者脚本获取网页上的一些文本、图片、音频的数据。

从笔者的经验来看,做一个简单的爬虫程序有以下几个步骤:确立需求、网页下载、网页分析与解析、保存。接下来大家可以跟随笔者的流程,我们来写个抓取豆瓣书籍信息的爬虫。

1、 需求

以豆瓣读书为例,我们爬取豆瓣的书籍信息,需要获取的信息包括:图书名称,出版社,作者,年份,评分。

  2、 网页下载

页面下载分为静态和动态两种下载方式。

静态主要是纯 html 页面,动态是网页会使用 java 处理,并通过Ajax 异步获取的页面。在这里,我们下载的是静态页面。

在下载网页的过程中我们需要用到网络库。在 Python 中有自带的 urllib、urllib2 网络库,但是我们一般采用基于 urllib3 的第三方库Requests ,这是一个深受 Pythoner 喜爱的更为高效简洁的网络库,能满足我们目前的 web 需求。

3、 网页分析与解析1)网页分析:

选好网络库后我们需要做的是:分析我们要爬取的路径——也就是逻辑。

这个过程中我们要找到爬取的每一个入口,例如豆瓣读书的页面。已知图书标签的 url,点击每个 url 能得到图书列表,在图书列表中存放需要的图书信息,求解如何获得图书信息。

所以很简单!我们的爬取路径就是:图书标签 url —> 图书列表—>图书信息。

2)网页解析:

网页解析主要就是通过解析网页源代码获取我们需要的数据,网页解析的方式有很多种,如:正则表达式, BeautifulSoup, XPath 等等,在这里我们采用的是 XPath。Xpath 的语法很简单,是根据路径来进行定位。

举个栗子:上海的位置是 地球—中国—上海,语法表达为 //地球/中国[@城市名=上海]

接下来我们需要解析网页获取到图书的 tag 标签的url。打开网页,右击选择审查元素,然后就会出现调试工具,左上角点击获取我们需要的数据,下面的调试窗口就会直接定位到其所在代码。

  根据其位置,写出其 Xpath 解析式://table[@class='tagCol']//a

这里我们看到小说在一个< table >标签下的< td >标签的< a >标签里。< table >标签可以用 class 属性进行定位。

  以下是获取 tag 的 url 的代码:

获取完了 tag ,我们还需要获取到图书的信息,下面我们对图书列表页进行解析:

  解析之后代码如下:

  爬取的信息内容如下:

  4、 数据保存

获取到了数据之后,我们可以选择把数据保存在数据库中,或者直接写在文件中。这里我们把数据保存到了 mongodb。接下来做一些统计,例如使用图表插件 echarts,将我们的统计结果展示出来。

5、 爬虫相关问题1)网站限制:

爬虫过程中可能会遇到爬不到数据了的问题,这是因为相应网站做了一些反爬的处理来进行爬取限制,比如在爬取豆瓣的时候,就遇到了 403forbidden 。怎么办?这时候可以通过一些相应的方法来解决,比如使用代理服务器,降低爬取速度等,在这里我们采用每次请求 sleep2秒。

2)URL 去重:

URL 去重是爬虫运行中一项关键的步骤,由于运行中的爬虫主要阻塞在网络交互中,因此避免重复的网络交互至关重要。爬虫一般会将待抓取的 URL 放在一个队列中,从抓取后的网页中提取到新的 URL,在他们被放入队列之前,首先要确定这些新的 URL 没有被抓取过,如果之前已经抓取过了,就不再放入队列了。

3)并发操作:

Python 中的并发操作主要涉及的模型有:多线程模型、多进程模型、协程模型。在 Python 中可以通过:threading 模块、multiprocessing 模块、gevent 库 来实现多线程、多进程、或协程的并发操作。

scrapy —— 强大的爬虫框架

谈到爬虫,不得不提的是 Scrapy。Scrapy 是 Python 开发的一个快速,高层次的爬虫框架,用于抓取 web 站点并从页面中提取结构化的数据。Scrapy 用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy 吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如 BaseSpider、sitemap 爬虫等。

scrapy 的架构:

其中绿线是数据流向,首先从初始 URL 开始,Scheduler 会将其交给 Downloader 进行下载,下载之后会交给 Spider 进行分析,需要保存的数据则会被送到 Item Pipeline,对数据进行后期处理。

另外,在数据流动的通道里还可以安装各种中间件,进行必要的处理。 因此在开发爬虫的时候,最好也先规划好各种模块。

注:

Xpath 教程:http://www.w3school.com.cn/xpath/index.asp

Requests官方文档:http://docs.python-requests.org/en/master/

更多的 Scrapy 请参考:http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html

本文作者:胡宇涵(点融黑帮),就职于点融网工程部infra团队运维开发工程师。爱自然,爱生活。


 


  

本文转自d1net(转载)


  

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
看看现在的招聘信息!orz(转)
基 本 信 息 职位类别: 计算机·网...
826 0
SpringBoot-18-之AOP+log4j 记录访问请求信息
org.springframework.boot spring-boot-starter-aop log4j log4j 1.
1123 0
Python WMI获取Windows系统信息 监控系统
1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 #http://www.cnblogs.com/liu-ke/ 4 import wmi 5 import os 6 import sys 7 import...
1096 0
+关注
boxti
12535
10036
文章
1327
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载