✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。
🍎个人主页： 小嗷犬的博客
🍊个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。
🥭本文内容：Python 反爬虫与反反爬虫
1.什么是爬虫
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。大家可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到自己的猎物（所需要的资源），那么它就会将其抓取下来。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的链接，那么它就可以爬到另一张网上来获取数据。
2.为什么要反爬虫
反爬虫，即使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。如果不反爬虫，会有人不断的发起请求获取数据，动态服务器会有大量的异常错误或者正常的意外流量，流量被浪费在了(程序员/组织)获取数据上，而不是分发数据（给用户）上。
这对网站官方会造成极大的负面影响，所以要反爬虫。
3.反爬虫的手段
3.1 基于请求头
反爬虫首先是基于 请求头的，爬虫程序的请求头通常与用户使用的浏览器的请求头不同，通过请求头，可以筛除很大一部分的程序请求。
3.2 基于用户行为
反爬虫手段还可以基于 用户行为，对于一些 异常行为，比如1秒内提交数十次请求，后台就可以认定发出请求的用户可能不是人，通过封锁此类用户的IP来达到反爬虫的效果。
4.反反爬虫
4.1 设置请求头
通过设置请求头，我们的爬虫程序可以伪装成浏览器，从而避免反爬虫系统的怀疑。我们可以使用 fake_useragent 库，它其中包含了一个
UserAgent类可以帮助我们生成不同的请求头。fake_useragent 库是第三方库，所以第一步是安装：
pip install fake_useragent接着导入 fake_useragent 库：
from fake_useragent import UserAgent然后使用方法也很简单：
from fake_useragent import UserAgent
# 创建一个 UserAgent对象
ua = UserAgent()
# 随机获取 User-Agent
print(ua.random)
# 随机生成 ie的 User-Agent
print(ua.ie)
# 随机生成 opera的 User-Agent
print(ua.opera)
# 随机生成 chrome的 User-Agent
print(ua.chrome)
# 随机生成 google的 User-Agent
print(ua.google)
# 随机生成 firefox的 User-Agent
print(ua.firefox)
# 随机生成 safari的 User-Agent
print(ua.safari)
将包含生成的
User-Agent的请求头作为发送请求时的参数，就可以实现伪装浏览器请求。
4.2 设置间隔时间
高频请求会引起反爬虫系统的反应，我们需要将爬虫程序伪装得更像一个真人，通过降低请求频率就可以进行伪装。我们通常是使用设置间隔时间的方式来降低频率，这里我们会使用到
time库。
time库是 Python 内置的标准库，直接导入就可以使用：
import timetime库提供了一个sleep()方法，它可以根据输入的参数暂停程序一段时间：
import time
print('小嗷犬')
time.sleep(5)
print('嗷嗷嗷')其中，sleep()方法所用的单位是秒(s)。尽量确保我们的爬虫程序每次请求之间间隔一段时间，以此来避免被反爬虫系统监测。
同时我们还可以结合
random，来使间隔时间更加自然：
import time
import random
for i in range(10):
print(i)
time.sleep(random.random() * 3)5.爬虫协议
robots协议也称爬虫协议、爬虫规则等，是指网站可建立一个
robots.txt文件来告诉其他人哪些页面可以抓取，哪些页面不能抓取，而其他人则通过读取robots.txt文件来识别这个页面是否允许被抓取。robots协议是国际互联网界通行的道德规范，基于以下原则建立：
- 搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权
- 网站有义务保护其使用者的个人信息和隐私不被侵犯
但是，这个robots协议不是防火墙,也没有强制执行力，爬虫程序完全可以忽视
robots.txt文件去抓取网页的快照。robots协议并不是一个规范，而只是约定俗成的，所以并不能真正保证网站的隐私，它只是互联网界的一种君子协定，需要我们自觉遵守。
