多种方法爬取猫眼电影并分析（附代码）

1. 为什么爬取该网页？

 ●  比较懒，不想一页页地去翻100部电影的介绍，想在一个页面内进行总体浏览（比如在excel表格中）；

想深入了解一些比较有意思的信息，比如：哪部电影的评分最高？哪位演员的作品数量最多？哪个国家/地区上榜的电影数量最多？哪一年上榜的电影作品最多等。这些信息在网页上是不那么容易能直接获得的，所以需要爬虫。

2. 爬虫目标

 ●   从网页中提取出top100电影的电影名称、封面图片、排名、评分、演员、上映国家/地区、评分等信息，并保存为csv文本文件。
 ●   根据爬取结果，进行简单的可视化分析。

平台：windows7 + SublimeText3

3. 爬取步骤

3.1. 网址URL分析

先定义一个获取单个页面的函数：get_one_page()，传入url参数。

接下来在main()函数中设置url。

运行上述程序后，首页的源代码就被爬取下来了。如下图所示：

接下来就需要从整个网页中提取出几项我们需要的内容，用到的方法就是上述所说的四种方法，下面分别进行说明。

3.3. 4种内容解析提取方法

3.3.1. 正则表达式提取

1'<dd>.*?board-index.*?>(d+)</i>.*?src="(.*?)".*?name"><a.*?>(.*?)</a>.*?'

它是一种强大的字符串处理工具。之所以叫正则表达式，是因为它们可以识别正则字符串（regular string）。可以这么定义：“ 如果你给我的字符串符合规则，我就返回它”；“如果字符串不符合规则，我就忽略它”。通过requests抓取下来的网页是一堆大量的字符串，用它处理后便可提取出我们想要的内容。

如果还不了解它，可以参考下面的教程：

http://www.runoob.com/regexp/regexp-syntax.html

https://www.w3cschool.cn/regexp/zoxa1pq7.html

下面，开始提取关键内容。右键网页-检查-Network选项，选中左边第一个文件然后定位到电影信息的相应位置，如下图：

1'<dd>.*?board-index.*?>(d+)</i>'

接着，第2个需要提取的是封面图片，图片网址位于img节点的'src'属性中，正则表达式可写为：

1'src="(.*?)".*?'

第1和第2个正则之间的代码是不需要的，用'.*?'替代，所以这两部分合起来写就是：

1'<dd>.*?board-index.*?>(d+)</i>.*?src="(.*?)"

同理，可以依次用正则写下主演、上映时间和评分等内容,完整的正则表达式如下：

1'<dd>.*?board-index.*?>(d+)</i>.*?src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>'

正则表达式写好以后，可以定义一个页面解析提取方法：parse_one_page（），用来提取内容：

Tips:  

re.S:匹配任意字符，如果不加，则无法匹配换行符； 

yield:使用yield的好处是作为生成器，可以遍历迭代，并且将数据整理形成字典，输出结果美观。具体用法可参考：https://blog.csdn.net/zhangpinghao/article/details/18716275； 

.strip():用于去掉字符串中的空格。

上面程序为了便于提取内容，又定义了3个方法：get_thumb（）、get_release_time（）和 get_release_area（）：

Tips:  

'r'：正则前面加上'r' 是为了告诉编译器这个string是个raw string，不要转意''。当一个字符串使用了正则表达式后，最好在前面加上'r'； 

'|' 正则'|'表示或'，'′：∗∗正则′∣′表示或′，′'表示匹配一行字符串的结尾； 

.group(1)：意思是返回search匹配的第一个括号中的结果，即(.*?)，gropup()则返回所有结果2013-12-18(，group(1)返回'（'。

接下来，修改main()函数来输出爬取的内容：

Tips:  

if _ name_ == '_ main_':当.py文件被直接运行时，if _ name_ == '_ main_'之下的代码块将被运行；当.py文件以模块形式被导入时，if _ name_ == '_ main_'之下的代码块不被运行。 

参考：https://blog.csdn.net/yjk13703623757/article/details/77918633。

运行程序，就可成功地提取出所需内容，结果如下：

以上是第1种提取方法，如果还不习惯正则表达式这种复杂的语法，可以试试下面的第2种方法。

3.3.2. lxml结合xpath提取

根据上述思路，可以写下其他内容的xpath路径。观察到路径的前一部分：//*[@id="app"]//div//dd都是一样的，从后面才开始不同，因此为了能够精简代码，将前部分路径赋值为一个变量items，最终提取的代码如下：

Tips:  

[0]：xpath后面添加了[0]是因为返回的是只有1个字符串的list，添加[0]是将list提取为字符串，使其简洁；

Network：要在最原始的Network选项卡中定位，而不是Elements中，不然提取不到相关内容；

class属性：p[@class = "star"]/text()表示提取class属性为"star"的p节点的文本值；

提取属性值：img[2]/@src'：提取img节点的src属性值，属性值后面无需添加'/text()'

运行程序，就可成功地提取出所需内容，结果和第一种方法一样。

以上是第2种提取方法，如果也不太习惯xpath语法，可以试试下面的第3种方法。

3.3.3. Beautiful Soup + css选择器

下面就利用这种方法进行提取：

运行上述程序，结果同第1种方法一样。

3.3.4. Beautiful Soup + find_all函数提取

1find_all(name , attrs , recursive , text , **kwargs)

常用的语法规则如下：  

soup.find_all(name='ul')： 查找所有 ul 节点，ul节点内还可以嵌套； 

li.string和li.get_text()：都是获取 li 节点的文本，但推荐使用后者；

soup.find_all(attrs={'id': 'list-1'}))：传入 attrs 参数，参数的类型是字典类型，表示查询  id  为  list-1  的节点；

常用的属性比如 id、class 等，可以省略attrs采用更简洁的形式，例如：

soup.find_all(id='list-1') 

soup.find_all(class_='element')

根据上述常用语法，可以提取网页中所需内容：

以上就是4种不同的内容提取方法。

3.4. 数据存储

上述输出的结果为字典格式，可利用csv包的DictWriter函数将字典格式数据存储到csv文件中。

然后修改一下main()方法：

结果如下图：

再将封面的图片下载下来：

上面完成了一页电影数据的提取，接下来还需提取剩下9页共90部电影的数据。对网址进行遍历，给网址传入一个offset参数即可，修改如下：

这样就完成了所有电影的爬取。结果如下：

4. 可视化分析

俗话说“文不如表，表不如图”。下面根据excel的数据结果，进行简单的数据可视化分析，并用图表呈现。

4.1. 电影评分最高top10

首先，想看一看评分最高的前10部电影是哪些？

程序如下：

结果如下图：

结果如下图：

不得不说的是香港有5部，而内地一部都没有。。。

4.3. 电影作品数量集中的年份

接下来站在漫长的百年电影史的时间角度上，分析一下哪些年份"贡献了"最多的电影数量，也可以说是"电影大年"。

结果如下图：

结果如下图：

对张国荣以7部影片的巨大优势雄霸榜单第一位感到好奇，想看看是哪7部电影。

由于数据量有限，故仅作了上述简要的分析。

原文发布时间为：2018-11-2

本文作者：苏克

本文来自云栖社区合作伙伴“Python中文社区”，了解相关信息可以关注“Python中文社区”。