AI 助理
备案控制台
开发者社区 人工智能 文章 正文

Python分析44130条用户观影数据，挖掘用户与电影之间的隐藏信息！

2022-05-15 334
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 很多电影也上映，看电影前很多人都喜欢去 **『豆瓣』** 看影评，所以我爬取44130条 **『豆瓣』** 的用户观影数据，分析**用户之间**的关系，**电影之间**的联系，以及**用户和电影之间**的隐藏关系。

01、前言

很多电影也上映，看电影前很多人都喜欢去 『豆瓣』 看影评，所以我爬取44130条 『豆瓣』 的用户观影数据，分析用户之间的关系，电影之间的联系，以及用户和电影之间的隐藏关系。

02、爬取观影数据

数据来源

https://movie.douban.com/

在『豆瓣』平台爬取用户观影数据。

爬取用户列表

网页分析

为了获取用户，我选择了其中一部电影的影评，这样可以根据评论的用户去获取其用户名称（后面爬取用户观影记录只需要『用户名称』）。

https://movie.douban.com/subject/24733428/reviews?start=0

url中start参数是页数（page*20，每一页20条数据），因此start=0、20、40...，也就是20的倍数，通过改变start参数值就可以获取这4614条用户的名称。

查看网页的标签，可以找到『用户名称』**值对应的标签属性。

编程实现

i=0
url = "https://movie.douban.com/subject/24733428/reviews?start=" + str(i * 20)
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
 
 
for item in selector.xpath('//*[@class="review-list  "]/div'):
    userid = (item.xpath('.//*[@class="main-hd"]/a[2]/@href'))[0].replace("https://www.douban.com/people/","").replace("/", "")
    username = (item.xpath('.//*[@class="main-hd"]/a[2]/text()'))[0]
    print(userid)
    print(username)
    print("-----")

爬取用户的观影记录

上一步爬取到『用户名称』，接着爬取用户观影记录需要用到『用户名称』。

网页分析

#https://movie.douban.com/people/{用户名称}/collect?start=15&sort=time&rating=all&filter=all&mode=grid
https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=all&mode=grid

通过改变『用户名称』，可以获取到不同用户的观影记录。

url中start参数是页数（page*15，每一页15条数据），因此start=0、15、30...，也就是15的倍数，通过改变start参数值就可以获取这1768条观影记录称。

查看网页的标签，可以找到『电影名』值对应的标签属性。

编程实现

url = "https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=all&mode=grid"
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
for item in selector.xpath('//*[@class="grid-view"]/div[@class="item"]'):
    text1 = item.xpath('.//*[@class="title"]/a/em/text()')
    text2 = item.xpath('.//*[@class="title"]/a/text()')
    text1 = (text1[0]).replace(" ", "")
    text2 = (text2[1]).replace(" ", "").replace("\n", "")
    print(text1+text1)
    print("-----")

保存到excel

定义表头

# 初始化execl表
def initexcel(filename):
    # 创建一个workbook 设置编码
    workbook = xlwt.Workbook(encoding='utf-8')
    # 创建一个worksheet
    worksheet = workbook.add_sheet('sheet1')
    workbook.save(str(filename)+'.xls')
    ##写入表头
    value1 = [["用户", "影评"]]
    book_name_xls = str(filename)+'.xls'
    write_excel_xls_append(book_name_xls, value1)

excel表有两个标题（用户, 影评）

写入excel

# 写入execl
def write_excel_xls_append(path, value):
    index = len(value)  # 获取需要写入数据的行数
    workbook = xlrd.open_workbook(path)  # 打开工作簿
    sheets = workbook.sheet_names()  # 获取工作簿中的所有表格
    worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格
    rows_old = worksheet.nrows  # 获取表格中已存在的数据的行数
    new_workbook = copy(workbook)  # 将xlrd对象拷贝转化为xlwt对象
    new_worksheet = new_workbook.get_sheet(0)  # 获取转化后工作簿中的第一个表格
    for i in range(0, index):
        for j in range(0, len(value[i])):
            new_worksheet.write(i+rows_old, j, value[i][j])  # 追加写入数据，注意是从i+rows_old行开始写入
    new_workbook.save(path)  # 保存工作簿

定义了写入excel函数，这样爬起每一页数据时候调用写入函数将数据保存到excel中。

最后采集了44130条数据（原本是4614个用户，每个用户大约有500~1000条数据，预计400万条数据）。但是为了演示分析过程，只爬取每一个用户的前30条观影记录（因为前30条是最新的）。

最后这44130条数据会在下面分享给大家。

03、数据分析挖掘

读取数据集

def read_excel():
    # 打开workbook
    data = xlrd.open_workbook('豆瓣.xls')
    # 获取sheet页
    table = data.sheet_by_name('sheet1')
    # 已有内容的行数和列数
    nrows = table.nrows
    datalist=[]
    for row in range(nrows):
        temp_list = table.row_values(row)
        if temp_list[0] != "用户" and temp_list[1] != "影评":
            data = []
            data.append([str(temp_list[0]), str(temp_list[1])])
            datalist.append(data)
    return datalist

从豆瓣.xls中读取全部数据放到datalist集合中。

分析1：电影观看次数排行

###分析1：电影观看次数排行
def analysis1():
    dict ={}
    ###从excel读取数据
    movie_data = read_excel()
    for i in range(0, len(movie_data)):
        key = str(movie_data[i][0][1])
        try:
            dict[key] = dict[key] +1
        except:
            dict[key]=1
    ###从小到大排序
    dict = sorted(dict.items(), key=lambda kv: (kv[1], kv[0]))
    name=[]
    num=[]
    for i in range(len(dict)-1,len(dict)-16,-1):
        print(dict[i])
        name.append(((dict[i][0]).split("/"))[0])
        num.append(dict[i][1])
    plt.figure(figsize=(16, 9))
    plt.title('电影观看次数排行(高->低)')
    plt.bar(name, num, facecolor='lightskyblue', edgecolor='white')
    plt.savefig('电影观看次数排行.png')

分析

  1. 由于用户信息来源于 『心灵奇旅』 评论，因此其用户观看量最大。
  2. 最近的热播电影中，播放量排在第二的是 『送你一朵小红花』，信条和拆弹专家2也紧跟其后。

分析2：用户画像（用户观影相同率最高）

###分析2：用户画像（用户观影相同率最高）
def analysis2():
    dict = {}
    ###从excel读取数据
    movie_data = read_excel()
 
 
    userlist=[]
    for i in range(0, len(movie_data)):
        user = str(movie_data[i][0][0])
        moive = (str(movie_data[i][0][1]).split("/"))[0]
        #print(user)
        #print(moive)
 
 
        try:
            dict[user] = dict[user]+","+str(moive)
        except:
            dict[user] =str(moive)
            userlist.append(user)
 
 
    num_dict={}
    # 待画像用户(取第一个）
    flag_user=userlist[0]
    movies = (dict[flag_user]).split(",")
    for i in range(0,len(userlist)):
        #判断是否是待画像用户
        if flag_user != userlist[i]:
            num_dict[userlist[i]]=0
            #待画像用户的所有电影
            for j in range(0,len(movies)):
                #判断当前用户与待画像用户共同电影个数
                if movies[j] in dict[userlist[i]]:
                    # 相同加1
                    num_dict[userlist[i]] = num_dict[userlist[i]]+1
    ###从小到大排序
    num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
    #用户名称
    username = []
    #观看相同电影次数
    num = []
    for i in range(len(num_dict) - 1, len(num_dict) - 9, -1):
        username.append(num_dict[i][0])
        num.append(num_dict[i][1])
 
 
    plt.figure(figsize=(25, 9))
    plt.title('用户画像（用户观影相同率最高）')
    plt.scatter(username, num, color='r')
    plt.plot(username, num)
    plt.savefig('用户画像（用户观影相同率最高）.png')

分析

以用户 『mumudancing』 为例进行用户画像

  1. 从图中可以看出，与用户 『mumudancing』 观影相同率最高的是：“请带我回布拉格”，其次是“李校尉”。
  2. 用户：'绝命纸牌', '笨小孩', '私享史', '温衡', '沈唐', '修左'，的观影相同率相同。

分析3:用户之间进行电影推荐

###分析3：用户之间进行电影推荐（与其他用户同时被观看过）
def analysis3():
    dict = {}
    ###从excel读取数据
    movie_data = read_excel()
 
 
    userlist=[]
    for i in range(0, len(movie_data)):
        user = str(movie_data[i][0][0])
        moive = (str(movie_data[i][0][1]).split("/"))[0]
        #print(user)
        #print(moive)
 
 
        try:
            dict[user] = dict[user]+","+str(moive)
        except:
            dict[user] =str(moive)
            userlist.append(user)
 
 
    num_dict={}
    # 待画像用户(取第2个）
    flag_user=userlist[0]
    print(flag_user)
    movies = (dict[flag_user]).split(",")
    for i in range(0,len(userlist)):
        #判断是否是待画像用户
        if flag_user != userlist[i]:
            num_dict[userlist[i]]=0
            #待画像用户的所有电影
            for j in range(0,len(movies)):
                #判断当前用户与待画像用户共同电影个数
                if movies[j] in dict[userlist[i]]:
                    # 相同加1
                    num_dict[userlist[i]] = num_dict[userlist[i]]+1
    ###从小到大排序
    num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
 
 
    # 去重（用户与观影率最高的用户两者之间重复的电影去掉）
    user_movies = dict[flag_user]
    new_movies = dict[num_dict[len(num_dict)-1][0]].split(",")
    for i in range(0,len(new_movies)):
        if new_movies[i] not in user_movies:
            print("给用户（"+str(flag_user)+"）推荐电影："+str(new_movies[i]))

分析

以用户 『mumudancing』 为例，对用户之间进行电影推荐

  1. 根据与用户 『mumudancing』 观影率最高的用户（A）进行进行关联，然后获取用户（A）的全部观影记录
  2. 将用户（A）的观影记录推荐给用户 『mumudancing』（去掉两者之间重复的电影）。

分析4:电影之间进行电影推荐

###分析4：电影之间进行电影推荐（与其他电影同时被观看过）
def analysis4():
    dict = {}
    ###从excel读取数据
    movie_data = read_excel()
 
 
    userlist=[]
    for i in range(0, len(movie_data)):
        user = str(movie_data[i][0][0])
        moive = (str(movie_data[i][0][1]).split("/"))[0]
        try:
            dict[user] = dict[user]+","+str(moive)
        except:
            dict[user] =str(moive)
            userlist.append(user)
 
 
    movie_list=[]
    # 待获取推荐的电影
    flag_movie = "送你一朵小红花"
    for i in range(0,len(userlist)):
        if flag_movie in dict[userlist[i]]:
             moives = dict[userlist[i]].split(",")
             for j in range(0,len(moives)):
                 if moives[j] != flag_movie:
                     movie_list.append(moives[j])
 
 
    data_dict = {}
    for key in movie_list:
        data_dict[key] = data_dict.get(key, 0) + 1
 
 
    ###从小到大排序
    data_dict = sorted(data_dict.items(), key=lambda kv: (kv[1], kv[0]))
    for i in range(len(data_dict) - 1, len(data_dict) -16, -1):
            print("根据电影"+str(flag_movie)+"]推荐："+str(data_dict[i][0]))

分析

以电影 『送你一朵小红花』 为例，对电影之间进行电影推荐

  1. 获取观看过 『送你一朵小红花』 的所有用户，接着获取这些用户各自的观影记录。
  2. 将这些观影记录进行统计汇总（去掉“送你一朵小红花”），然后进行从高到低进行排序，最后可以获取到与电影 『送你一朵小红花』 关联度最高排序的集合。
  3. 将关联度最高的前15部电影给用户推荐。

04、总结

  1. 分析爬取豆瓣平台数据思路，并编程实现。
  2. 对爬取的数据进行分析（电影观看次数排行、用户画像、用户之间进行电影推荐、电影之间进行电影推荐）
文章标签：
Python
数据挖掘
搜索推荐
关键词：
Python分析
Python电影
Python数据
Python信息
Python分析数据
Python研究者
目录
相关文章
小白学大数据
|
12天前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
小白学大数据
31 1
小白学大数据
|
14天前
|
数据采集 存储 JSON
Python爬虫开发中的分析与方案制定
Python爬虫开发中的分析与方案制定
小白学大数据
30 2
张志凌
|
14天前
|
图形学 Python
SciPy 空间数据2
凸包（Convex Hull）是计算几何中的概念，指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
张志凌
23 1
小王老师呀
|
15天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象（如字典、列表）转换为 JSON 字符串，主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化，以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象，使用 `json.loads` 方法。文中还提供了具体的代码示例，展示了如何处理不同类型的 Python 对象。
小王老师呀
17 1
爱专研的技术土狗
|
15天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取？
使用 Python 进行网页数据爬取的步骤包括：1. 安装必要库（requests、re、bs4）；2. 发送 HTTP 请求获取网页内容；3. 使用正则表达式提取数据；4. 数据清洗和处理；5. 循环遍历多个页面。通过这些步骤，可以高效地从网页中提取所需信息。
爱专研的技术土狗
27 1
土木林森
|
20天前
|
存储 数据处理 Python
Python科学计算：NumPy与SciPy的高效数据处理与分析
【10月更文挑战第27天】在科学计算和数据分析领域，Python凭借简洁的语法和强大的库支持广受欢迎。NumPy和SciPy作为Python科学计算的两大基石，提供了高效的数据处理和分析工具。NumPy的核心功能是N维数组对象（ndarray），支持高效的大型数据集操作；SciPy则在此基础上提供了线性代数、信号处理、优化和统计分析等多种科学计算工具。结合使用NumPy和SciPy，可以显著提升数据处理和分析的效率，使Python成为科学计算和数据分析的首选语言。
土木林森
28 3
爱专研的技术土狗
|
20天前
|
存储 数据采集 数据库
用 Python 爬取淘宝商品价格信息时需要注意什么？
使用 Python 爬取淘宝商品价格信息时，需注意法律和道德规范，遵守法律法规和平台规定，避免非法用途。技术上，可选择 Selenium 和 Requests 库，处理反爬措施如 IP 限制、验证码识别和请求频率控制。解析页面数据时，确定数据位置并清洗格式。数据存储可选择 CSV、Excel、JSON 或数据库，定期更新并去重。还需进行错误处理和日志记录，确保爬虫稳定运行。
爱专研的技术土狗
46 2
张志凌
|
14天前
|
索引 Python
SciPy 空间数据1
SciPy 通过 `scipy.spatial` 模块处理空间数据，如判断点是否在边界内、计算最近点等。三角测量是通过测量角度来确定目标距离的方法。多边形的三角测量可将其分解为多个三角形，用于计算面积。Delaunay 三角剖分是一种常用方法，可以对一系列点进行三角剖分。示例代码展示了如何使用 `Delaunay()` 函数创建三角形并绘制。
张志凌
23 0
青衫无名
|
自然语言处理 算法 Python
用 Python 分析《红楼梦》（2）
青衫无名
2285 0
青衫无名
|
自然语言处理 算法 索引
用 Python 分析《红楼梦》（1）
青衫无名
1743 0

热门文章

最新文章

  • 1
    手把手教你用Python实践深度学习
  • 2
    3、Python与设计模式--建造者模式
  • 3
    Python 阿里云盾滑块验证
  • 4
    python类的使用
  • 5
    python 合并当天tomcat异常日志
  • 6
    python第三节课堂练习：统计一句单词
  • 7
    [PYTHON] 核心编程笔记之二-Python起步
  • 8
    python 带参数的多重继承
  • 9
    CentOS下-Python-人脸识别-DLib的环境安装(一)
  • 10
    Python基础教程笔记——条件，循环和其他语句
  • 1
    使用Python实现深度学习模型：文本生成与自然语言处理
    121
  • 2
    python类型错误（TypeError）
    63
  • 3
    python属性错误（AttributeError）
    209
  • 4
    python变量未定义（NameError）
    106
  • 5
    Python进行自动化
    66
  • 6
    深度剖析：AJAX、Fetch API如何成为Python后端开发者的最佳拍档！
    92
  • 7
    从零到精通，AJAX与Fetch API让你的Python Web前后端交互无所不能！
    43
  • 8
    颠覆传统！AJAX、Fetch API与Python后端，开启Web开发新篇章！
    40
  • 9
    告别‘老司机’时代，AJAX与Fetch API让你的前端与Python后端无缝对接！
    63
  • 10
    Python数据分析加速器：深度挖掘Pandas与NumPy的高级功能
    48

    • 相关课程

    更多
  • Python Web开发基础
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 以客服场景意图分类为例写Prompt
  • 函数计算部署PuLID for FLUX人像写真实现换脸效果
  • 如何快速体验知识检索增强应用
  • 以电商场景为例搭建AI语义搜索应用
  • 函数计算部署AI艺术字应用，生成新春文字头像
  • 用Python画圣诞树

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • golang
    • 下一篇
    无影云桌面