下载三国演义(案例)

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 爬虫系列文章
爬取三国演义
import requests
from bs4 import BeautifulSoup

#使用bs4解析爬取三国演义整片小说内容http://www.shicimingju.com/book/sanguoyanyi.html

#从首页解析出章节的标题和详情页的url
url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
page_text = requests.get(url,headers=headers).text #首页的页面源码数据
fp = open('./sanguo.txt','a+',encoding='utf-8')
#数据解析(章节标题,详情页的url)
soup = BeautifulSoup(page_text,'lxml')
#定位到了所有的标题对应的a标签
a_list = soup.select('.book-mulu > ul > li > a')
for a in a_list:
    title = a.string
    detail_url = 'http://www.shicimingju.com'+a['href']
    
    #解析提取章节内容
    page_text_detail = requests.get(url=detail_url,headers=headers).text
    #解析详情页中的章节内容
    soup = BeautifulSoup(page_text_detail,'lxml')
    content = soup.find('div',class_='chapter_content').text
    
    fp.write(title+':'+content+'\n')
    
    print(title,'下载成功!')
相关文章
|
监控 Oracle 小程序
2021 最新版 JDK 1.8 下载与安装 步骤演示 (图示版)(一)
2021 最新版 JDK 1.8 下载与安装 步骤演示 (图示版)
1025 0
2021 最新版 JDK 1.8 下载与安装 步骤演示 (图示版)(一)
|
数据处理
InVEST模型的下载及入门操作(以InVEST3.13.0为例)
InVEST是一套免费的开源软件模型,是美国自然资本项目组开发的、用于评估生态系统服务功能量及其经济价值、支持生态系统管理和决策的一套模型系统,用于绘制和评估维持和实现人类生活的自然商品和服务。包括商品生产(如食物)、生命维持过程(如水净化)和充实生命的条件(如美丽、娱乐机会)以及选择的保护(如未来使用的遗传多样性)等模块。(翻译自模型官网)
2006 1
|
Oracle NoSQL 数据管理
2023 最新版navicat 下载与安装 步骤及演示 (图示版)
2023 最新版navicat 下载与安装 步骤及演示 (图示版)
414 0
|
Oracle 安全 Java
2022 最新版 JDK 17 下载与安装 步骤演示 (图示版)
2022 最新版 JDK 17 下载与安装 步骤演示 (图示版)
2022 最新版 JDK 17 下载与安装 步骤演示 (图示版)
|
Java Android开发 数据安全/隐私保护
ApkScan-PKID 查壳工具下载与使用
一、 关于壳的介绍 1、壳的功能:壳最本质的功能就是实现加载器,壳是指在一个程序的外面再包裹上另外一段代码,保护里面的代码不被非法修改或反编译的程序。它们一般都是先于程序运行,拿到控制权,然后完成它们保护软件的任务,深入点就是在apk外面再套一层壳,在运行的时候这层壳会把真正的apk的dalvik指令集释放出来,为apk加壳是目前主流的防护方案,真正的源码是隐藏在壳之下的,要想拿到源码研究其逻辑就
739 0
ApkScan-PKID 查壳工具下载与使用
|
开发者 Windows Python
文件下载案例 | 学习笔记
快速学习 文件下载案例
116 0
文件下载案例 | 学习笔记
|
Java 应用服务中间件 测试技术
2021 最新版 JDK 1.8 下载与安装 步骤演示 (图示版)(二)
2021 最新版 JDK 1.8 下载与安装 步骤演示 (图示版)
642 0
2021 最新版 JDK 1.8 下载与安装 步骤演示 (图示版)(二)
|
Python
python打包源码上传的官网
* 为什么打包源码 如果你想让你的实现的python代码,通过pip install 方式供所有人进行下载;那就需要将代码上传到PyPi上,这样才能让所有人使用;
169 0
python打包源码上传的官网
|
数据采集 JSON 数据格式
You-Get开源在线下载神器,搭配python更加丝滑(文中案例演示)
介绍一个号称可以下载全网视频、音频、图像的开源库
442 0
You-Get开源在线下载神器,搭配python更加丝滑(文中案例演示)
下一篇
无影云桌面