从零开始学爬虫2——爬虫基础

本文为学习笔记，原教程：https://www.bilibili.com/video/BV1Db4y1m7Ho/?spm_id_from=333.999.0.0&vd_source=4cfa97d709226c94ec1c02fc78b760ec

1 什么是互联网爬虫

使用程序模拟浏览器，去向服务器发送请求，获取相应信息

2 爬虫核心

1. 爬取网页：爬取整个网页，包含了网页中所有的内容
2. 解析数据：将网页中得到的数据进行解析
3. 难点：爬虫和反爬虫之间的博弈

3 爬虫用途

• 数据分析/人工数据集
• 社交软件冷启动
• 舆情监控
• 竞争对手监控

4 爬虫分类

1. 通用爬虫：

   • 实例：百度、360、google、sougou等搜索引擎‐‐‐伯乐在线
   • 功能：访问网页‐>抓取数据‐>数据存储‐>数据处理‐>提供检索服务
   • robots协议：一个约定俗成的协议，添加robots.txt文件，来说明本网站哪些内容不可以被抓取，起不到限制作用，自己写的爬虫无需遵守

   • 网站排名(SEO)

     1. 根据pagerank算法值进行排名（参考个网站流量、点击率等指标）
     2. 百度竞价排名

   • 缺点

     1. 抓取的数据大多是无用的
     2. 不能根据用户的需求来精准获取数据

2. 聚焦爬虫

   • 功能：根据需求，实现爬虫程序，抓取需要的数据

   • 设计思路

     1. 确定要爬取的url：如何获取Url
     2. 模拟浏览器通过http协议访问url，获取服务器返回的html代码：如何访问
     3. 解析html字符串（根据一定规则提取需要的数据）：如何解析

5 反爬手段

1. User‐Agent（UA校验）：

   User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

2. 代理IP

   西次代理

   快代理

   什么是高匿名、匿名和透明代理？它们有什么区别？

   • 使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。
   • 使用匿名代理，对方服务器可以知道你使用了代理，但不知道你的真实IP。
   • 使用高匿名代理，对方服务器不知道你使用了代理，更不知道你的真实IP。
3. 验证码访问

   打码平台：云打码平台、超级🦅

4. 动态加载网页 网站返回的是js数据 并不是网页的真实数据

   selenium驱动真实的浏览器发送请求

5. 数据加密：分析js代码