AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Python爬虫实战(4) | 爬取历年中国电影票房排行榜

2023-04-26 706
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 看了看后台，发现之前写的几篇有关爬虫实战的文章特别受欢迎，阅读量都是好几千那种然后回头发现自己好久没写爬虫了，刚好写了个小小的爬虫 demo ，今天分享给大家

附上官网地址

中国历年电影票房(http://www.boxofficecn.com/boxofficecn)

需求分析

我们先来看一下需求

  1. 获取自1994年至2022年之间，各年度的大陆票房情况，包括电影名称和票房总额
  2. 各个年度的电影票房情况分别保存至以本年度为名称的CSV文件，例如2022年电影票房数据保存到2022.csv

我们发现，中国历年来的电影票房都对应着一个 url，而且这个 url 是有规律的

例如：

1994年的中国大陆电影票房网址：http://www.boxofficecn.com/boxoffice1994

1995年的中国大陆电影票房网址：http://www.boxofficecn.com/boxoffice1995

网页分析

在知道了网址的规律之后，我们对网页进行一下分析

我们按 F12 进入网页代码查看器，当前页面的代码结构如下图
image-20221214110757437.png
可以看到电影的信息都存放在

年份、票房、电影名称以及序号都在

标签里面

代码实现

既然知道了我们要获取的信息的所在标签中，那么就开始我们的爬取过程吧！

需要导入的库文件

import requests
import bs4

将当前网页获取下来

注意：因为网页中含有中文字符，所以我们在下载网页源码之前先看下它的编码格式，输入当前网页的编码格式 print(res.encoding)

可以看到是 UTF-8 编码格式，所以我们将网页源码获取之后要对其进行编码 encode('UTF-8')

def get_web(url):
    header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59"}
    res = requests.get(url, headers=header, timeout=5)
    # 查看当前网页的编码格式
    print(res.encoding)

    #对网页源码进行编码
    content = res.text.encode('UTF-8')
    return content

从网页源码中获取所需标签信息

将网页下载获取下来之后，我们使用 bs4 模块来进行解析并获取我们所需要的数据信息

soup = bs4.BeautifulSoup(content, 'lxml')
movie_list = soup.find_all('tr', attrs={'align': 'left'})

这里我定义了一个 movie_list 去存放票房信息

image-20221214111940476.png
可以看到 movie_list 是一个 bs4.element.ResultSet 对象，我们需要对其进行遍历才能获得里面的元素

print(type(movie_list))

##结果
<class 'bs4.element.ResultSet'>

信息处理

遍历获取 movie_list 中的元素并且对其进行处理，然后存放到列表 list 中

list = []
for i in movie_list:
    i = i.text.split('\n')
    i = i[1:len(i)-1]
    list.append(i)

list 中的元素如下所示：

[['1', '1995', '真实的谎言', '10300'], ['2', '1995', '红番区', '9500'], ['3', '1995', '阳光灿烂的日子', '5000'], ['4', '1995', '虎胆龙威3', '4700'], ['5', '1995', '狮子王(1994)', '4130'], ['6', '1995', '红粉', '4000'], ['7', '1995', '红樱桃', '4000'], ['8', '1995', '生死时速', '3780'], ['9', '1995', '七七事变', '3300'], ['10', '1995', '绝地战警', '3280'], ['11', '1995', '阿甘正传', '1960']]

接着我们将 list 中的内容以键值对的形式保存，方便信息的阅读性

我们以电影序号作为唯一的key

dic = {}
for i in list:
    dic[i[0]] = {'年份': i[1], '电影名称': i[2], '票房（万元）': i[3]}
return dic

数据保存

我们将字典中的内容保存到本地的 csv 文件中

def data_save(dic,year):
    file_name = 'D:\movie\\' + str(year) + '.csv'
    with open(file_name, 'w+') as f:
        f.write('序号,年份,电影名称,票房（万元）\n')
        for k, v in dic.items():
            f.write(k+','+v['年份']+','+v['电影名称']+','+v['票房（万元）']+'\n')

补充：

def data_save(dic,year):
    file_name = 'D:\movie\\' + str(year) + '.csv'
    with open(file_name, 'w+') as f:
        f.write('序号,年份,电影名称,票房（万元）\n')
        for k, v in dic.items():
            f.write(k+','+v['年份']+','+v['电影名称']+','+v['票房（万元）']+'\n')

刚开始用上面这段代码实现的时候报错

UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position 12:illegal multibyte sequence

出现 UnicodeEncodeError ，说明是 Unicode 编码问题， ‘gbk’ codec can’t encode character –> 说明是将Unicode字符编码为GBK时候出现的问题；

此时，往往最大的可能就是，本身Unicode类型的字符中，包含了一些无法转换为GBK编码的一些字符

unicode中的‘\xa0’字符在转换成gbk编码时会出现问题，gbk无法转换'\xa0'字符。
所以，在转换的时候必需进行一些前置动作，例如将这些字符替换成空格

.replace(u'\xa0', u' ')

后面在演示的时候分别又报了如下报错

UnicodeEncodeError: 'gbk' codec can't encode character '\u200e' in position 13: illegal multibyte sequence


UnicodeEncodeError: 'gbk' codec can't encode character '\u200b' in position 13: illegal multibyte sequence

有了上面的经验，我们只需要把对应无法转换的字符替换成空格即可

replace(u'\u200b', u' ')

replace(u'\u200e', u' ')

最后代码如下所示：

def get_content(url):
    content = get_web(url)
    list = parse_content(content)
    dic = {}
    for i in list:
        i[1] = i[1].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        i[2] = i[2].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        i[3] = i[3].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        dic[i[0]] = {'年份': i[1], '电影名称': i[2], '票房（万元）': i[3]}
    return dic

结果展示
image-20221214113141351.png
image-20221214113158609.png
image-20221214133807742.png

  • 完整代码
import requests
import bs4

'''
去访问对应的网页并将网页源码下载下来
需要注意网页的编码格式
'''
def get_web(url):
    header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59"}
    res = requests.get(url, headers=header, timeout=5)
    # 查看当前网页的编码格式
    # print(res.encoding)

    #对网页源码进行编码
    content = res.text.encode('UTF-8')
    return content

'''
对下载下来的网页源码进行解析,然后获取指定内容并存放到一个列表里
'''
def parse_content(content):
    soup = bs4.BeautifulSoup(content, 'lxml')
    movie_list = soup.find_all('tr', attrs={'align': 'left'})
    list = []
    for i in movie_list:
        i = i.text.split('\n')
        i = i[1:len(i)-1]
        list.append(i)

    return list

'''
将列表中的内容转换成字典，以键值对的形式存放
'''
def get_content(url):
    content = get_web(url)
    list = parse_content(content)
    dic = {}
    for i in list:
        i[1] = i[1].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        i[2] = i[2].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        i[3] = i[3].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        dic[i[0]] = {'年份': i[1], '电影名称': i[2], '票房（万元）': i[3]}
    return dic

'''
数据保存
'''
def data_save(dic,year):
    file_name = 'D:\movie\\' + str(year) + '.csv'
    with open(file_name, 'w+') as f:
        f.write('序号,年份,电影名称,票房（万元）\n')
        for k, v in dic.items():
            f.write(k+','+v['年份']+','+v['电影名称']+','+v['票房（万元）']+'\n')


if __name__ == '__main__':
    url = 'http://www.boxofficecn.com/boxoffice'
    for year in range(1994, 2023):
        new_url = url + str(year)
        dic = get_content(new_url)
        print('_____开始获取%s年的票房信息______' %(year))
        data_save(dic, year)
        print('_____获取完成！______')
import requests
import bs4
import sys
import time

'''
根据url访问对应的网页并将网页源码下载下来
'''
def webDownload(year):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
    url = 'http://www.boxofficecn.com/boxoffice'+str(year)
    response = requests.get(url, headers=headers, timeout=4)
    content = response.text.encode('UTF-8')
    return content


'''
对爬取到的网页内容进行处理——解析和转换成字典形式
'''
def processContent(year):
    content = webDownload(year)

    movie_list = []
    soup = bs4.BeautifulSoup(content, 'lxml')
    list = soup.find_all('tr', attrs={'align': 'left'})
    for i in list:
        movie_list.append(i.text.split('\n')[1:-1])

    movie_dic = {}
    for i in movie_list:
        i[1] = i[1].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        i[2] = i[2].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ')
        i[3] = i[3].replace(u'\xa0', u' ').replace(u'\u200b', u' ').replace(u'\u200e', u' ').replace('–', 'null')
        movie_dic[i[0]] = {'年份': i[1], '电影名称': i[2], '票房（万元）': i[3]}
    return movie_dic


'''
将获取到的历年大陆票房数据保存到本地csv文件
'''
def data2csv(dic,year):
    file_name = 'E:\\movie\\' + str(year) + '.csv'
    with open(file_name, 'w+') as file:
        file.write('名次,年份,电影名称,票房（万元）\n')
        for k, v in dic.items():
            file.write(k+','+v['年份']+','+v['电影名称']+','+v['票房（万元）']+'\n')


if __name__ == '__main__':
    for year in range(1994, 2023):
        dic = processContent(year)
        print('\n_____开始获取%s年的票房信息______' %(year))
        data2csv(dic, year)
        for i in range(1, 101):
            print("\r", end="")
            print("进度: {}%: ".format(i), "▓" * (i // 2), end="")
            sys.stdout.flush()
            time.sleep(0.05)
    print('\n获取完成！')
文章标签：
Python
编解码
数据采集
关键词：
Python爬虫
爬虫实战
Python实战
Python电影
爬虫python
咸鱼运维杂谈
目录
相关文章
游客moiomvrp3vyac2
|
16天前
|
存储 数据采集 人工智能
Python编程入门：从零基础到实战应用
本文是一篇面向初学者的Python编程教程，旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点，然后通过一个简单的例子展示了如何编写Python代码。接下来，文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后，文章通过一个实战项目——制作一个简单的计算器程序，帮助读者巩固所学知识并提高编程技能。
游客moiomvrp3vyac2
60 2
爱专研的技术土狗
|
9天前
|
数据采集 存储 JavaScript
网页爬虫技术全解析：从基础到实战
在信息爆炸的时代，网页爬虫作为数据采集的重要工具，已成为数据科学家、研究人员和开发者不可或缺的技术。本文全面解析网页爬虫的基础概念、工作原理、技术栈与工具，以及实战案例，探讨其合法性与道德问题，分享爬虫设计与实现的详细步骤，介绍优化与维护的方法，应对反爬虫机制、动态内容加载等挑战，旨在帮助读者深入理解并合理运用网页爬虫技术。
爱专研的技术土狗
52 5
请看我回答~
|
16天前
|
小程序 开发者 Python
探索Python编程：从基础到实战
本文将引导你走进Python编程的世界，从基础语法开始，逐步深入到实战项目。我们将一起探讨如何在编程中发挥创意，解决问题，并分享一些实用的技巧和心得。无论你是编程新手还是有一定经验的开发者，这篇文章都将为你提供有价值的参考。让我们一起开启Python编程的探索之旅吧！
请看我回答~
41 10
历年考试不作弊
|
28天前
|
算法 Unix 数据库
Python编程入门：从基础到实战
本篇文章将带你进入Python编程的奇妙世界。我们将从最基础的概念开始，逐步深入，最后通过一个实际的项目案例，让你真正体验到Python编程的乐趣和实用性。无论你是编程新手，还是有一定基础的开发者，这篇文章都将为你提供有价值的信息和知识。让我们一起探索Python的世界吧！
历年考试不作弊
58 4
我不是游客20240119
|
29天前
|
并行计算 调度 开发者
探索Python中的异步编程：从基础到实战
在Python的世界里，异步编程是一种让程序运行更加高效、响应更快的技术。本文不仅会介绍异步编程的基本概念和原理，还将通过具体代码示例展示如何在Python中实现异步操作。无论你是初学者还是有经验的开发者，都能从中获益，了解如何运用这一技术优化你的项目。
我不是游客20240119
35 3
aliyun8599273441-30642
|
29天前
|
数据处理 Python
探索Python中的异步编程：从基础到实战
在Python的世界中，“速度”不仅是赛车手的追求。本文将带你领略Python异步编程的魅力，从原理到实践，我们不单单是看代码，更通过实例感受它的威力。你将学会如何用更少的服务器资源做更多的事，就像是在厨房里同时烹饪多道菜而不让任何一道烧焦。准备好了吗？让我们开始这场技术烹饪之旅。
aliyun8599273441-30642
28 2
代码bug生产队
|
1月前
|
机器学习/深度学习 数据采集 数据可视化
Python数据科学实战：从Pandas到机器学习
Python数据科学实战：从Pandas到机器学习
代码bug生产队
32 1
aliyun8599273441-30642
|
1月前
|
数据采集 机器学习/深度学习 人工智能
Python编程入门：从基础到实战
【10月更文挑战第36天】本文将带你走进Python的世界，从基础语法出发，逐步深入到实际项目应用。我们将一起探索Python的简洁与强大，通过实例学习如何运用Python解决问题。无论你是编程新手还是希望扩展技能的老手，这篇文章都将为你提供有价值的指导和灵感。让我们一起开启Python编程之旅，用代码书写想法，创造可能。
aliyun8599273441-30642
28 3
龙大吉
|
1月前
|
数据库 Python
异步编程不再难！Python asyncio库实战，让你的代码流畅如丝！
在编程中，随着应用复杂度的提升，对并发和异步处理的需求日益增长。Python的asyncio库通过async和await关键字，简化了异步编程，使其变得流畅高效。本文将通过实战示例，介绍异步编程的基本概念、如何使用asyncio编写异步代码以及处理多个异步任务的方法，帮助你掌握异步编程技巧，提高代码性能。
龙大吉
70 4
Java时光
|
1月前
|
机器学习/深度学习 数据可视化 数据处理
Python数据科学：从基础到实战
Python数据科学：从基础到实战
Java时光
35 1