python爬虫案例 ---- 爬取小说

一、思路和目的：
之前在最开始学习爬虫的时候就看过大神写过爬取小说的案例，之前觉得非常牛逼，后来学习了爬虫，感觉还是挺简单的。好的，下面开始我们的代码之旅。

二、步骤和内容：
第一步：确认环境
想要写好，首先我们需要拥有正确的环境配置。这里我采用的基础是基于selenium来写的，selenium简而言之就是模拟人类操作浏览器，这样可以比较有效的处理ajax等数据加载方式。

如果没有selenium的朋友，可以自行在csdn中查找。

第二步：确认爬取的目标和基础分析：
首先今天的受害者是：http://www.xbiquge.la。

网站截图如下：

接下来的大体思路就是：使用selenium模拟输入和搜索，然后列出所有的搜索结果，然后反馈给用户，根据用户的选择打开相应的小说，然后爬取小说内容即可。

第三步：写出大体框架
1.导入模块：

导入基本模块

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from lxml import etree
import requests
import os
1
2
3
4
5
6
7
2.大体框架：

class Spider(object):

def __init__(self):
    self.driver_path = r'D:\CHROM\chrome\chromedriver.exe'
    self.options = Options()
    self.options.add_argument('--headless')
    self.options.add_argument('--disable-gpu')
    self.driver = webdriver.Chrome(executable_path=self.driver_path,options=self.options)
    
    self.base_url = 'http://www.xbiquge.la'
    self.headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }

def interactive(self):
    self.driver.get('http://www.xbiquge.la/')
    #我运行的时候，为了避免网速不好，休息两秒钟
    time.sleep(2)
    #搜索方法，该方法返回首页网页的html源代码
    text = self.search()
    #输出可选择书籍的列表，该方法返回的是书籍列表的url
    url_list = self.show_list(text)
    #选择合适的书籍并爬取章节
    self.spider(url_list)
    #保存至本地

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
说明：selenium模拟浏览器，如果不指定一定的参数，模拟的过程会默认展示出来，为了减少这种情况的出现，所以加上了这三行代码：

self.options = Options()
self.options.add_argument('--headless')
self.options.add_argument('--disable-gpu')
1
2
3
3.完成搜索方法self.search()：

def search(self):

    book_name = input('请输入搜索书籍的名字：')
    
    #获取输入框的input标签和搜索按钮的button标签
    search_tag = self.driver.find_element_by_name('searchkey')
    button_tag = self.driver.find_element_by_id('sss')
    #这里采用send_keys(xxxx)方法，向输入框输入内容然后点击按钮即可
    search_tag.send_keys(book_name)
    button_tag.click()
    time.sleep(1)
    #获取html源码
    text = self.driver.page_source
    #返回源码
    return text

1
2
3
4
5
6
7
8
9
10
11
12
13
14
好的，接下来分析下如何写获取input和button代码：

首先鼠标放于此处并右击，选择检查可以得到以下图片的内容：

可以看见，这两个标签都是容易获取的，因为selenium对于input有一个专门的name方法，而button标签则有id属性，更是容易获取。因此，可以采用下面这两行获取相应的标签：

search_tag = self.driver.find_element_by_name('searchkey')
button_tag = self.driver.find_element_by_id('sss')

1
2
4.完成输出可选择书籍列表的信息函数self.show_list():

def show_list(self,text):

    #使用lxml库解析html源代码
    html = etree.HTML(text)
    #获取书籍信息
    bookNameList = html.xpath('//table//tr//td[@class="even"]//a/text()')
    bookUrlList = html.xpath('//table//tr//td[@class="even"]//a/@href')
    lastestChapterList = html.xpath('//table//tr//td[@class="odd"]//a/text()')
    authorList = html.xpath('//table//tr//td[@class="even"]/text()')
    updateDateList = html.xpath('//table//tr//td[@align="center"]/text()')
    #输出书籍信息
    for name,author,chapter,date in zip(bookNameList,authorList,lastestChapterList,updateDateList):
        info = '''

name : {bookName}
author : {authorName}
chapter : {chapterName}
date : {updateDate}
'''.format(bookName=name,authorName=author,chapterName=chapter,updateDate=date)

        print(('book info of %s' % name).center(80,'-'))
        print(info)
        
    #返回相应书籍对应url列表
    return bookUrlList

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
好的，接下来分析下这段代码的思路：

首先，我们随意输入一本书的名字或者作者的名字（这里我以辰东为例），如下图：

接下来，我们鼠标放于此处并右击检查，可以得到下面图片的信息：

显然，上面标注的就是我们需要获取的信息。好的，下面我们只需按部就班的使用xpath（lxml中支持的语法）去获取相应信息即可，采用的以下几个语句：

获取书籍信息

bookNameList = html.xpath('//table//tr//td[@class="even"]//a/text()')
bookUrlList = html.xpath('//table//tr//td[@class="even"]//a/@href')
lastestChapterList = html.xpath('//table//tr//td[@class="odd"]//a/text()')
authorList = html.xpath('//table//tr//td[@class="even"]/text()')
updateDateList = html.xpath('//table//tr//td[@align="center"]/text()')
1
2
3
4
5
6
为了输出的美观，采用了一定手段，这里就不多赘述。下面是美化后输出的形式举例：

5.完成获取小说内容的函数 self.spider()：

def spider(self,url_list):

#这里用户根据之前输出的书籍列表输入相应的数字
decision = int(input('请选择合适的书籍（输入序号,ex:1 2 3 ）：'))
target_url = url_list[decision-1]

#由于该网站的反爬不是很严格，所以这里只设置了headers参数里的user-agent
response = requests.get(target_url,headers=self.headers)
text = response.content.decode('utf-8')
#这里采用lxml方法获取所有章节的url
html = etree.HTML(text)
#这里有两个辅助函数，主要是为了让代码更易读
chapter_url_list = self.spider_get_urls(html)
#爬取小说对应url的内容
self.spider_get_content(chapter_url_list)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
好的，开始分析：

首先，我们随意打开一本辰东大神的书（这里我选择的是《圣墟》）：

鼠标放于此处并右击，可得以下信息：

这里你会发现，这个网站并没有将章节分页，所以上图的所有dd标签即为所有的章节，然后我们就可以采用lxml库对于这个网页解析获取对应的url-----即self.spider_get_urls()函数

def spider_get_urls(self,html):

#获取所有的a标签里面的url链接
chapter_list = html.xpath('//div[@class="box_con"]//dl//dd/a/@href')
#对于url进行拼接为完整的url
for i in range(len(chapter_list)):
    chapter_list[i] = self.base_url + chapter_list[i]
#返回url列表
return chapter_list

1
2
3
4
5
6
7
8
这里a标签的href属性的url只有一半，如：/13/13959/5939039.html，需要我们进行拼接为完整的url。

接下来我们开始下载内容即self.spider_get_content() 函数：

def spider_get_content(self,chapter_url_list):

info_dict = {}
for url in chapter_url_list:
    #打开网页
    self.driver.get(url)
    #为避免没有加载出来，休息5秒
    time.sleep(5)
    #采用lxml库解析html网页源代码
    text  = self.driver.page_source
    html = etree.HTML(text)
    title = html.xpath('//div[@class="bookname"]/h1/text()')[0]
    content_list = html.xpath('//div[@class="box_con"]//div[@id="content"]//text()')
    #删除垃圾信息
    content_list.pop(-1)
    content_list.pop(-1)
    #开始输出结果
    result = ''
    for content in content_list:
        result+=(content.strip()+'\n')
    info_dict[title] = result
return info_dict

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
首先我们需要一章一章的下载，并且每次下载之间必须留有一定的时间间隔，避免因为短时间访问过多而被封禁，当然你可以使用ip代理或者多线程提升效率。

其次，我们容易发现，这里获取的信息并不是全都是我们需要的，其中下面的数据不是我们需要的

但是仍然能被爬取，所以我们需要将他们删除，就用到了下面代码：

因为是列表，所以删除

content_list.pop(-1)
content_list.pop(-1)
1
2
3
最后我们采用字典的方式，一个章节名（key），一个小说内容（value）的形式返回。效果如下图：

6.完成保存本地函数self.save():

def save(self,result_dict):

#创建文件夹
os.mkdir('book')
os.chdir('./book')
#保存
count = 1
for key in result_dict:
    f = open(key+'.txt','w')
    f.write(result_dict[key])
    f.close()
    print('保存完%s章' % count)
    count+=1
print('保存完毕')

1
2
3
4
5
6
7
8
9
10
11
12
13
这部分没什么好说的，大家都会。

第四步、分析总结
1.全部代码如下：

-- coding:utf-8 --

Author: 自学小白菜

'''
既然选择了前进，那每一步都要认真的去做
'''

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from lxml import etree
import requests
import os

class Spider(object):

def __init__(self):
    self.driver_path = r'D:\CHROM\chrome\chromedriver.exe'
    self.options = Options()
    self.options.add_argument('--headless')
    self.options.add_argument('--disable-gpu')
    self.driver = webdriver.Chrome(executable_path=self.driver_path,options=self.options)

    self.base_url = 'http://www.xbiquge.la'
    self.headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }


def interactive(self):
    self.driver.get('http://www.xbiquge.la/')
    time.sleep(2)
    #搜索
    text = self.search()
    #输出可选择列表
    url_list = self.show_list(text)
    #选择合适的书籍并爬取章节
    result_dict = self.spider(url_list)
    #保存于本地
    self.save(result_dict)

def search(self):
    book_name = input('请输入搜索书籍的名字：')

    search_tag = self.driver.find_element_by_name('searchkey')
    button_tag = self.driver.find_element_by_id('sss')
    search_tag.send_keys(book_name)
    button_tag.click()
    time.sleep(1)
    text = self.driver.page_source

    return text

def show_list(self,text):
    html = etree.HTML(text)
    bookNameList = html.xpath('//table//tr//td[@class="even"]//a/text()')
    bookUrlList = html.xpath('//table//tr//td[@class="even"]//a/@href')
    lastestChapterList = html.xpath('//table//tr//td[@class="odd"]//a/text()')
    authorList = html.xpath('//table//tr//td[@class="even"]/text()')
    updateDateList = html.xpath('//table//tr//td[@align="center"]/text()')
    for name,author,chapter,date in zip(bookNameList,authorList,lastestChapterList,updateDateList):
        info = '''

name : {bookName}
author : {authorName}
chapter : {chapterName}
date : {updateDate}
'''.format(bookName=name,authorName=author,chapterName=chapter,updateDate=date)

        print(('book info of %s' % name).center(80,'-'))
        print(info)

    return bookUrlList

def spider(self,url_list):
    decision = int(input('请选择合适的书籍（输入序号,ex:1 2 3 ）：'))
    target_url = url_list[decision-1]
    response = requests.get(target_url,headers=self.headers)
    text = response.content.decode('utf-8')
    html = etree.HTML(text)
    #获取所有章节的url
    chapter_url_list = self.spider_get_urls(html)
    #爬取小说对应url的内容
    content_dict = self.spider_get_content(chapter_url_list)

    return content_dict

def spider_get_urls(self,html):
    chapter_list = html.xpath('//div[@class="box_con"]//dl//dd/a/@href')
    for i in range(len(chapter_list)):
        chapter_list[i] = self.base_url + chapter_list[i]
    return chapter_list

def spider_get_content(self,chapter_url_list):
    info_dict = {}
    for url in chapter_url_list:
        self.driver.get(url)
        time.sleep(5)
        text  = self.driver.page_source
        html = etree.HTML(text)
        title = html.xpath('//div[@class="bookname"]/h1/text()')[0]
        content_list = html.xpath('//div[@class="box_con"]//div[@id="content"]//text()')
        content_list.pop(-1)
        content_list.pop(-1)
        result = ''
        for content in content_list:
            result+=(content.strip()+'\n')

        info_dict[title] = result
        print(info_dict)
    return info_dict

def save(self,result_dict):
    #创建文件夹
    os.mkdir('book')
    os.chdir('./book')
    #保存
    count = 1
    for key in result_dict:
        f = open(key+'.txt','w')
        f.write(result_dict[key])
        f.close()
        print('保存完%s章' % count)
        count+=1
    print('保存完毕')

if name == "__main__":

spider = Spider()
spider.interactive()

python爬虫案例 ---- 爬取小说

导入基本模块

获取书籍信息

因为是列表，所以删除

-- coding:utf-8 --

Author: 自学小白菜

热门文章

最新文章

相关课程

相关电子书

相关实验场景