python爬虫基础

简介: python爬虫基础

免责声明

技术文章仅供参考,任何个人和组织使用网络应当遵守宪法法律,遵守公共秩序,尊重社会公德,不得利用网络从事危害国家安全、荣誉和利益,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失,均由使用者本人负责。本文所提供的工具仅用于学习,禁止用于其他!譬如收集大规模集群(包括网络设备、操作系统、应用程序)的监控数据并进行存储。查询使用本文所提供的信息或工具即视为同意本免责声明,并承诺遵守相关法律法规和道德规范

HTTP协议

请求

1.请求行 -> 请求方式{get/post} 请求url地址 协议,一些反扒内容
2.响应头 -> 放一些服务器使用的附加信息
3
4.请求体 -> 一般放一些请求参数

响应

1.状态行 -> 协议 状态码 {eg:200 403 404}
2.响应头 -> 放一些客户端需要使用的一些附加信息
3.
4.响应体 ->服务器返回短的真正客户端要用的内容{HTML,JS...}

请求头及响应头一般隐含着比较重要的内容

请求头;
1.UA头:请求载体的身份标识(用啥发送的请求)
2.referer:防盗链(这个请求从哪个页面来的{反爬用})
3.cookie;本地字符串数据信息(用户登录信息,反爬的token)
响应头;
1.cookie;本地字符串数据信息(用户登录信息,反扒的token)
2.各种莫名其妙的字符串(一般是token字样,繁殖攻击与反爬)

requests;

import requests  # 导入requests模块
query = input("你想要得到的")
url = f'https://www.sogou.com/web?query={query}'
dlc = {  # 建立UA头
    "User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; Tablet PC 2.0; wbx 1.0.0; wbxapp 1.0.0; Zoom 3.6.0)",
}
resq = requests.get(url, headers=dlc)  # 以GET请求运行requests,url为目标,headers为要引用的头文件
print(resq)  # 输出状态码
print(resq.text)  # 输出网站HTML源代码

实列

利用requests获得百度翻译结果
url = "https://fanyi.baidu.com/sug"
word = input("要翻译的单词")
heads = {
    # 输入目标单词的参数
    "kw": word
}
# 发送POST请求,发送的数据必须放在字典中,并通过data参数进行传递
resp = requests.post(url, data=heads)
# json:Python原生支持JSON数据。Python json模块是标准库的一部分。该json模块可以将JSON数据从JSON格式转换到等效的Python对象,例如dictionary和list。JSON
# 模块还可以将Python对象转换为JSON格式。
print(resp.json())
爬取豆瓣电影排行榜
url = "https://movie.douban.com/j/chart/top_list"
# 输入参数
for a in range(0, 100, 20):
    dica = {
        "type": "24",
        "interval_id": "100:90",
        "action": "",
        "start": a,
        "limit": 20,
    }
head = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.1.2 Safari/537.36 JiSu/118.0.1.2Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.1.2 Safari/537.36 JiSu/118.0.1.2",
}
resp = requests.get(url=url, params=dica, headers=head)
print(resp.json())
resp.close()  # 关闭resp

正则

元字符

.  匹配除换行符以外的任意字符
\w 匹配字海或数字或下划线
\S 匹配任意的空白符
\d 匹配数字
\n 匹配一个换行符
\t 匹配一个制表符
\^ 匹配字符串的开始
\$ 匹配字符串的结尾
\W{大写} 匹配非字母或数字或下划线
\D 匹配非数字
\S{} 匹配非空白符
a|b 匹配字符a或字符b
() 匹配括号内的表达式,也表示一个组
[ ...] 匹配字符组中的字符
[^...] 匹配除了字符组中字符的所有字符

量词

* 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次

贪婪匹配&惰性匹配

.* 贪婪匹配
.*? 惰性匹配

eg:

# findall: 匹配字符串中所有符合正则的内容
lst = re.findall(r"\d+", "1231123去去去")
print(lst)
# finditer: 匹配字符串中所有的内容[返回的使迭代器],获取内容需要拼接.group()
it = re.finditer(r"\d+", "1231123去去去")
for i in it:
    print(i.group())
# search,找到一个结果就返回,拿到数据拼。group
them = re.search(r"\d+", "1111112222,123123")
print(them.group())
# match 从头开始匹配,可以认为加了一个^
ii = re.match(r"\d+", "!1231123去去去")
print(ii.group())
# 预加载正则
obj = re.compile(r"\d+")
it = obj.finditer(r"\d+", "1231123去去去")
for i in it:
    print(i.group())
# (?P<组名>re) 可以单独从正则匹配的内容中获得 组名 内的数据
obj = re.compile(r"123123(?P<a2>.*?)123123", re.S)  # re.S 使”.“可以匹配换行符
a1 = obj.finditer("123123qqqqq123123123")
for a in a1:
    print(a.group("a2"))

实列:

爬取豆瓣TOP250
# 导入 request,re,csv模块
import requests
import re
import csv
# 使start以0为起始,以25为公差,275为结点(不包括275)
for start in range(0, 275, 25):
    url = f'https://movie.douban.com/top250?start={start}'
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.1.2 "
                      "Safari/537.36 JiSu/118.0.1.2Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko)"
                      "Chrome/118.0.1.2 Safari/537.36 JiSu/118.0.1.2",
    }
    ress = requests.get(url, headers=head)
    a1 = ress.text
    # 构造re,提取关键点,re,S为:“.”可以匹配换行符
    obj = re.compile(r'<div class="item">.*?<span class="title">(?P<name>.*?)'
                     r'</span>.*?<div class="star">.*?<span property="v:best" content="10.0">.*?<span>'
                     r'(?P<people>.*?)</span>.*?<span class="inq">(?P<word>.*?)</span>', re.S)
    a2 = obj.finditer(a1)
    # # 使用csv 将提取到的内容追加(a+)写入csv文件内
    f = open("name.csv", 'a+', encoding='UTF-8', newline='')
    write = csv.writer(f)
    for i in a2:
        # 此处为测试用
        #     print(i.group("name"))
        #     print(i.group("people"))
        #     print(i.group("word").strip())
        dic = i.groupdict()
        dic['word'] = dic['word'].strip()
        write.writerow(dic.values())
    # 关闭程序
    f.close()
    print("over!")
相关文章
|
27天前
|
数据采集 JSON 算法
Python爬虫——模拟登录
Python爬虫——模拟登录
|
3天前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
25 6
|
27天前
|
数据采集 JSON 算法
Python爬虫——基于JWT的模拟登录爬取实战
Python爬虫——基于JWT的模拟登录爬取实战
Python爬虫——基于JWT的模拟登录爬取实战
|
24天前
|
数据采集 缓存 Java
Python vs Java:爬虫任务中的效率比较
Python vs Java:爬虫任务中的效率比较
|
2天前
|
数据采集 JSON 测试技术
Python爬虫神器requests库的使用
在现代编程中,网络请求是必不可少的部分。本文详细介绍 Python 的 requests 库,一个功能强大且易用的 HTTP 请求库。内容涵盖安装、基本功能(如发送 GET 和 POST 请求、设置请求头、处理响应)、高级功能(如会话管理和文件上传)以及实际应用场景。通过本文,你将全面掌握 requests 库的使用方法。🚀🌟
18 7
|
4天前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
24 6
|
1天前
|
数据采集 Web App开发 JavaScript
爬虫策略规避:Python爬虫的浏览器自动化
爬虫策略规避:Python爬虫的浏览器自动化
|
2天前
|
数据采集 存储 XML
Python实现网络爬虫自动化:从基础到实践
本文将介绍如何使用Python编写网络爬虫,从最基础的请求与解析,到自动化爬取并处理复杂数据。我们将通过实例展示如何抓取网页内容、解析数据、处理图片文件等常用爬虫任务。
|
4天前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
21 4
|
4天前
|
数据采集 Web App开发 iOS开发
如何利用 Python 的爬虫技术获取淘宝天猫商品的价格信息?
本文介绍了使用 Python 爬虫技术获取淘宝天猫商品价格信息的两种方法。方法一使用 Selenium 模拟浏览器操作,通过定位页面元素获取价格;方法二使用 Requests 和正则表达式直接请求页面内容并提取价格。每种方法都有详细步骤和代码示例,但需注意反爬措施和法律法规。