阿里云
为了无法计算的价值
打开APP
阿里云APP内打开
学习中心> Python爬虫实战> 正文

Python爬虫实战

6课时 |
38587人已学 |
免费
课程介绍

Python开发实战系列:Python爬虫

本课程由马哥教育提供,马哥教育是国内泛Linux运维技术领域高薪IT职业学院,是国内泛Linux运维技术领域的高端互联网IT职业教育品牌,旗下拥有Linux运维、Python开发、云计算等多个高端学科的培育能力。

python 爬虫分类和  robots  协议

 

内容介绍:

一、概述

二、爬虫分类

三、Robots  协议

 

 

一、概述

爬虫,应该称为网络爬虫,也叫网页蜘蛛、网络机器人、网络蚂蚁等。

搜索引擎,就是网络爬虫的应用者。

为什么到了今天,反而这个词汇被频繁的提起呢?有搜索引擎不就够了吗?

实际上,大数据时代的到了,所有的企业都希望通过海量数据发现其中的价值。

所以,需要爬取对特定网站、特定类别的数据,而搜索引擎不能提供这样的功能,因此,需要自己开发爬虫来解决。

 

二、爬虫分类

通用爬虫

常见就是搜索引擎,无差别的收集数据、存储,提取关键字,构建索引库,给用户提供搜索接口。

爬取一般流程

1.初始一批  URL ,将这些 URL 放到待爬取队列

2.从队列取出这些 URL  ,通过 DNS 解析 IP ,对 IP 对应的站点下载 HTML 页面,保存到本地服务器中,爬取完的 URL 放到已爬取队列。

3.分析这些网页内容,找出网页里面的其他关心的 URL  链接,继续执行第2步,直到爬取条件结束。

搜索引擎如何获取一个新网站的 URL

●新网站主动提交给搜索引擎

●通过其它网站页面中设置的外链

●搜索引擎和 DNS 服务商合作,获取最新收录的网站

聚焦爬虫

有针对性的编写特定领域数据的爬取程序,针对某些类别数据采集的爬虫,是面向主题的爬虫

 

三、Robots  协议

指定一个rqbots.txt文件,告诉爬虫引擎什么可以爬取。

淘宝http://www.taobao.com/robots.txt

User-agent: Baiduspider

Allow: /article

Allow: /oshtml

Allow: /ershou

Disallow: /product/

Disallow: /

User-Agent: Googlebot

Allow: /article

Allow: /oshtml

Allow: /product

Allow: /spu

Allow: /dianpu

Allow: /oversea

Allow: /list

Allow: /ershou

Disallow: /

User-agent: Bingbot

Allow: /article

Allow: /oshtml

Allow: /product

Allow: /spu

Allow: /dianpu

Allow: /oversea

Allow: /list

Allow:/ershou

Disallow: /

User-Agent: Yahoo! SlurpAllow: /product

Allow: /spu

Allow: /dianpu

Allow: /oversea

Allow: /list

Allow:/ershou

Disallow:/

User-Agent:

Disallow: /

User-Agent: Yahoo! Slurp

Allow: /product

Allow: /spu

Allow: /dianpu

Allow: /oversea

Allow: /list

Allow: /ershou

Disallow: /

user-Agent:

Disallow:

马蜂窝 http://www.mafengwo.cn/robots.txt

User-agent:

Disallow:/music/

Disallow:/travel-photos-albums/

Disallow:/lushu/

Disallow:/hc/

Disallow:/hb/

Disallow:/insure/show.php

Disallow:/myvisa/index.php

Disallow:/booking/discount_booking.php

Disallow:/secrect/

Disallow:/gonglve/visa.php

Disallow:/gonglve/visa_info.php

Disallow:/gonglve/visa_case.php

Disallow:/gonglve/visa_seat.php

Disallow:/gonglve/visa_readme.php

Disallow:/gonglve/insure.php

Disallow:/gonglve/insurer.php

其它爬虫,不允许爬取

User-Agent:★

Disallow:/

这是一个君子协定,“爬亦有道”

这个协议为了让搜索引擎更有效率搜索自己内容,提供了如 Sitemap  这样的文件。

这个文件禁止抓取的往往又是可能我们感兴趣的内容,它反而泄露了这些地址。

我的学习进度
请登录后查看您的学习进度!
立即登录
本课程相关云产品