项目实践《小说网站数据》

本文涉及的产品
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
简介: 项目实践《小说网站数据》

一、前言

欢迎阅读本篇博客,在这里,我们将探索如何使用Python进行网站数据抓取。数据抓取,或称为网页爬虫,是一种从网站上自动提取信息的技术。在现代数据驱动的世界中,这一技巧尤其宝贵。不论是为了个人学习,研究目的,还是企业收集行业数据,掌握如何从网络中提取有价值的数据无疑都是一个重要的技能。、

在这篇博客的接下来几个部分中,我将向您展示如何使用Python中的一些库来获取网站数据。我们将以实际案例“起点小说”和“笔趣阁”网站为例,一步步通过代码详细说明这一过程。由于我们必须尊重网站的服务负载,time库能够帮助我们在请求间增加适当的延时,避免因为请求过于频繁而触发网站的防爬措施。

在下文的代码示范中,我们将实践如何使用这些库,并详细讲解每一行代码对应的功能和背后的逻辑。

二、导库部分:

使用了三个Python库,分别是requests,BeautifulSoup和time。其中,requests用于发出http请求,BeautifulSoup用于解析HTML网页,time用于控制请求频率。

#导库
import requests
from bs4 import BeautifulSoup
import time

三、预定义请求参数部分:

定义了目标URL和请求头headers。URL是待抓取的小说目录页面地址,headers中包含了User-Agent等键值对,这些信息用于模拟正常的浏览器行为,防止服务端识别到此次请求是爬虫程序发出的。

#请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': "1",
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Sec-Fetch-Dest': 'document',
    'Cookie':'_csrfToken=VNpSGeOeI4x9OxUNY7BeYEbL12i4sRAy0H3BYg15; newstatisticUUID=1710636870_1641355660; fu=191679000; traffic_utm_referer=https%3A//cn.bing.com/; supportwebp=true; w_tsfp=ltvgWVEE2utBvS0Q6Krvl02mETg7Z2R7xFw0D+M9Os09AKUiWpaE04F8utfldCyCt5Mxutrd9MVxYnGBUNUtdRAXQsmZb5tH1VPHx8NlntdKRQJtA5LUW1FKduhwuDBPKmxbcUDk32coIdZJyb1n2wgFunYn37ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lK1EOW1i8cG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVP1NGFhDqVwRs+o5/01LDXvsNn2KA/l7tlIGRPNbrcq+NA=='}

其中除’Cookie‘标签请求头以外的请求头较为常见不做过多讲述,直接用就好。Cookie请求头每个网站页面的都不同,出处如下:

1.找到想要爬取的网站,按F2打开开发者模式,以下用有较为复杂发爬取措施的“起点小说网站”作为示范,如果掌握了那么其他网站的操作也不再话下。

2.可以看到,因为反爬取措施,我们的开发者模式会一直卡在调试阶段无法获取资源。下面我们将利用断点操作导出正常界面。(按照如图操作,打开源代码,点击断电停用,点击恢复脚本执行)

3.操作完成后就可以开启开发者模式,接下来(按照如图操作,打开网络,点击清除网络日志,刷新,点击js文件)

4.就可以看到文件下的’Cookie‘标签拿到后复制#请求代码中就可以拥有访问权限

四、“起点小说”网站

发起请求并解析得到的HTML:

调用requests库的get方法发出GET请求,然后用BeautifulSoup解析接收到的HTML页面。

res = requests.get(url,headers=headers)

获取所有章节和链接:

从解析得到的HTML中找出所有class为’chapter-name’的a标签元素,因为这些a标签包含了章节的名称和链接。

对找出的每个a标签,使用[‘href’]获取其href属性值,即章节的相对链接。分割链接得到章节的id,然后构造新的URL作为具体章节页面的链接。

再次发起GET请求,获取具体章节的HTML页面,然后用BeautifulSoup进行解析。

在解析得到的HTML中找出所有p标签元素,这些p标签包含了这个章节的文本内容。

#处理数据
bs = BeautifulSoup(res.text,'html.parser')
#获取所有章节
bs_a = bs.find_all('a',class_='chapter-name')
# for i in range(len(bs_a)):
#     print(bs_a[i].text)
#获取所有章节链接
for i in bs_a:
    id = i['href'].split('/')[-2]
    url2 = f"https://www.qidian.com/chapter/1038464373/{id}"+"/"
    res2 = requests.get(url2, headers=headers)
    bs2 = BeautifulSoup(res2.text, 'html.parser')
    bs2_p = bs2.find_all('p')
    time.sleep(1)

保存得到的章节内容:

用with语句打开一个新的txt文件,文件名等于章节的名字。然后遍历所有的p标签,将其中的文本内容写入到文件中,每个p标签的文本后都添加一个换行符。这一步完成后,就成功地把小说的一章保存到本地文件里了。

with open(f"{i.text}.txt", 'a', encoding='utf-8') as f:
        for j in bs2_p:
            f.write(j.text)
            f.write('\n')

五、“起点小说”网站完整版脚本

整个脚本的基本流程是:先获取目录页,查找出所有章节的链接和名字,然后进入每个具体的章节页面,获取章节的文本内容,最后将内容保存到txt文件中。每处理完一章都暂停1秒,以免访问过快而被服务器封锁。

#起点小说网站
#导库
import requests
from bs4 import BeautifulSoup
import time
#寻址
url = "https://www.qidian.com/book/1038464373/"
#请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': "1",
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Sec-Fetch-Dest': 'document',
    'Cookie':'_csrfToken=VNpSGeOeI4x9OxUNY7BeYEbL12i4sRAy0H3BYg15; newstatisticUUID=1710636870_1641355660; fu=191679000; traffic_utm_referer=https%3A//cn.bing.com/; supportwebp=true; w_tsfp=ltvgWVEE2utBvS0Q6Krvl02mETg7Z2R7xFw0D+M9Os09AKUiWpaE04F8utfldCyCt5Mxutrd9MVxYnGBUNUtdRAXQsmZb5tH1VPHx8NlntdKRQJtA5LUW1FKduhwuDBPKmxbcUDk32coIdZJyb1n2wgFunYn37ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lK1EOW1i8cG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVP1NGFhDqVwRs+o5/01LDXvsNn2KA/l7tlIGRPNbrcq+NA=='}
res = requests.get(url,headers=headers)
#处理数据
bs = BeautifulSoup(res.text,'html.parser')
#获取所有章节
bs_a = bs.find_all('a',class_='chapter-name')
# for i in range(len(bs_a)):
#     print(bs_a[i].text)
#获取所有章节链接
for i in bs_a:
    id = i['href'].split('/')[-2]
    url2 = f"https://www.qidian.com/chapter/1038464373/{id}"+"/"
    res2 = requests.get(url2, headers=headers)
    bs2 = BeautifulSoup(res2.text, 'html.parser')
    bs2_p = bs2.find_all('p')
    time.sleep(1)
    with open(f"{i.text}.txt", 'a', encoding='utf-8') as f:
        for j in bs2_p:
            f.write(j.text)
            f.write('\n')

六、“笔趣阁”网站

这个Python脚本是用来抓取“笔趣阁”网站上的小说内容,并将内容保存到本地的txt文件中。以下是对每个部分的解析:

预定义参数部分:

定义了请求的headers和url。headers中的User-Agent字段用于模拟浏览器请求,防止服务器识别出非浏览器的访问并进行拦截。url是待抓取小说的目录页地址。

相比于”起点小说“没有反爬措施直接用

#请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': "1",
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Sec-Fetch-Dest': 'document',
    }

或者只写第一行也行

headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

主程序部分:

发起请求获取小说目录页内容,然后使用BeautifulSoup解析获取到的HTML内容。

使用select方法选取所有章节链接的html元素,并将返回的列表赋值给soup_html。

遍历soup_html,对每个元素,使用[“href”]获取其链接,使用.text获取其文本内容(即章节名)。如果链接包含"/book",说明是有效的章节链接。

定义新的URL为章节的完整链接,然后发起请求获取该章节的页面内容,并使用BeautifulSoup解析。

使用find_all方法获取章节页面中id为"chaptercontent"的元素,这个元素中包含了章节的文本内容。

res = requests.get(url,headers=headers)
soup = BeautifulSoup(res.text,"html.parser")
soup_html = soup.select("div.listmain dl dd a")#子元素选择,select返回的是列表
for html in soup_html:
    href = html["href"]  #获取href属性
    name = html.text  #获取文本信息
    if "/book" in href:
        new_url = f"https://www.bqg70.com{href}"
        new_res = requests.get(url=new_url,headers=headers)
        new_soup = BeautifulSoup(new_res.text,"html.parser")
        div_id = new_soup.find_all("div",id = "chaptercontent")

保存得到的章节内容:

使用with语句打开一个文件,文件名为章节名,并打印正在下载的信息。然后使用write方法将章节内容写入到文件中。

with open(f"txt/{name}.txt",mode="a",encoding="utf-8") as f:
            print(f"正在下载:《{name}》,请稍后~~~")
            f.write(div_id[0].prettify().replace("<br>","").replace("<br/>","\n").replace('<div class="Readarea ReadAjax_content" id="chaptercontent">',""))#prettify()获取标签内html的代码
            time.sleep(1)
#prettify()获取标签里的html信息,比text文本信息更全面

七、“笔趣阁”网站完整版脚本

整个脚本的主要任务是爬取“笔趣阁”网站上的小说内容,并将内容下载到本地的txt文件中。它以章节为单位,对每一个章节都创建一个对应的txt文件。在下载的过程中,还设置了提示信息和延时,使得脚本的运行更加人性化和安全。

#笔趣阁
#导库
import requests
from bs4 import BeautifulSoup
import time
headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
url = "https://www.bqg70.com/book/72268/"
res = requests.get(url,headers=headers)
soup = BeautifulSoup(res.text,"html.parser")
soup_html = soup.select("div.listmain dl dd a")#子元素选择,select返回的是列表
for html in soup_html:
    href = html["href"]  #获取href属性
    name = html.text  #获取文本信息
    if "/book" in href:
        new_url = f"https://www.bqg70.com{href}"
        new_res = requests.get(url=new_url,headers=headers)
        new_soup = BeautifulSoup(new_res.text,"html.parser")
        div_id = new_soup.find_all("div",id = "chaptercontent")
        with open(f"txt/{name}.txt",mode="a",encoding="utf-8") as f:
            print(f"正在下载:《{name}》,请稍后~~~")
            f.write(div_id[0].prettify().replace("<br>","").replace("<br/>","\n").replace('<div class="Readarea ReadAjax_content" id="chaptercontent">',""))#prettify()获取标签内html的代码
            time.sleep(1)
#prettify()获取标签里的html信息,比text文本信息更全面


相关文章
京东技术团队撰写的整整986页《漫画学Python》到底有什么魅力?
这是一本Python入门书。无论您是想学习编程的小学生,还是想参加计算机竞赛的中学生,抑或是计算机相关专业的大学生,甚至是正在从事软件开发的职场人,本书都适合您阅读和学习。但您若想更深入地学习Python并进行深层次应用,则需要选择其他相关图书。
|
1月前
|
人工智能 自然语言处理 算法
如何利用【抖音-豆包】进行文章撰写与技能学习
如何利用【抖音-豆包】进行文章撰写与技能学习
42 1
|
2月前
|
存储 安全 Java
小说阅读平台设计与实现
小说阅读平台设计与实现
|
10月前
|
前端开发 NoSQL 数据库
经典案例之某新闻网站的实现(二)
经典案例之某新闻网站的实现(二)
|
人工智能 自然语言处理 搜索推荐
推荐一个简约的在线简历项目
推荐一个简约的在线简历项目
197 0
|
人工智能 Kubernetes 开发者
社区编辑部特别策划:每周精选活动和开发者彩蛋!
阿里云开发者社区编辑部特别策划,海量免费电子书,最新直播在线追,每周都有彩蛋哦!
19580 0
社区编辑部特别策划:每周精选活动和开发者彩蛋!
|
数据采集 Web App开发 数据挖掘
我爬取了人人都是产品经理6574篇文章,发现产品竟然在看这些
作为互联网界的两个对立的物种,产品汪与程序猿似乎就像一对天生的死对头;但是在产品开发链条上紧密合作的双方,只有通力合作,才能更好地推动项目发展。那么产品经理平日里面都在看那些文章呢?我们程序猿该如何投其所好呢?我爬取了人人都是产品经理(http://www.woshipm.com)产品经理栏目下的所有文章,看看产品经理都喜欢看什么。
1778 0
|
前端开发 程序员
【晒出你的第83行代码】前端专家专门找出来珍藏的反面代码教材,请大家来拍砖!
在五四青年节之际,社区发起了来晒晒属于你的“第83行”的活动,活动中邀请业界的大牛、大神们来晒代码或者Review代码!本轮我们晒晒前端专家巴洛克上校专门找出来珍藏的反面代码教材。
1670 0
|
开发者
(原创)开发者论坛移动版全新上线,小谈感受
本文主要讨论移动版的使用感受,以图文并茂的方式呈现出来,供大家交流与讨论。 “为什么别人月赚上万,而你持续亏损” —— 大财主专注域名投资咨询,解密域名行情
3121 0