AI 助理
备案控制台
开发者社区 人工智能 文章 正文

Python分析44130条用户观影数据，挖掘用户与电影之间的隐藏信息！

2022-05-15 330
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 很多电影也上映，看电影前很多人都喜欢去 **『豆瓣』** 看影评，所以我爬取44130条 **『豆瓣』** 的用户观影数据，分析**用户之间**的关系，**电影之间**的联系，以及**用户和电影之间**的隐藏关系。

01、前言

很多电影也上映，看电影前很多人都喜欢去 『豆瓣』 看影评，所以我爬取44130条 『豆瓣』 的用户观影数据，分析用户之间的关系，电影之间的联系，以及用户和电影之间的隐藏关系。

02、爬取观影数据

数据来源

https://movie.douban.com/

在『豆瓣』平台爬取用户观影数据。

爬取用户列表

网页分析

为了获取用户，我选择了其中一部电影的影评，这样可以根据评论的用户去获取其用户名称（后面爬取用户观影记录只需要『用户名称』）。

https://movie.douban.com/subject/24733428/reviews?start=0

url中start参数是页数（page*20，每一页20条数据），因此start=0、20、40...，也就是20的倍数，通过改变start参数值就可以获取这4614条用户的名称。

查看网页的标签，可以找到『用户名称』**值对应的标签属性。

编程实现

i=0
url = "https://movie.douban.com/subject/24733428/reviews?start=" + str(i * 20)
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
 
 
for item in selector.xpath('//*[@class="review-list  "]/div'):
    userid = (item.xpath('.//*[@class="main-hd"]/a[2]/@href'))[0].replace("https://www.douban.com/people/","").replace("/", "")
    username = (item.xpath('.//*[@class="main-hd"]/a[2]/text()'))[0]
    print(userid)
    print(username)
    print("-----")

爬取用户的观影记录

上一步爬取到『用户名称』，接着爬取用户观影记录需要用到『用户名称』。

网页分析

#https://movie.douban.com/people/{用户名称}/collect?start=15&sort=time&rating=all&filter=all&mode=grid
https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=all&mode=grid

通过改变『用户名称』，可以获取到不同用户的观影记录。

url中start参数是页数（page*15，每一页15条数据），因此start=0、15、30...，也就是15的倍数，通过改变start参数值就可以获取这1768条观影记录称。

查看网页的标签，可以找到『电影名』值对应的标签属性。

编程实现

url = "https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=all&mode=grid"
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
for item in selector.xpath('//*[@class="grid-view"]/div[@class="item"]'):
    text1 = item.xpath('.//*[@class="title"]/a/em/text()')
    text2 = item.xpath('.//*[@class="title"]/a/text()')
    text1 = (text1[0]).replace(" ", "")
    text2 = (text2[1]).replace(" ", "").replace("\n", "")
    print(text1+text1)
    print("-----")

保存到excel

定义表头

# 初始化execl表
def initexcel(filename):
    # 创建一个workbook 设置编码
    workbook = xlwt.Workbook(encoding='utf-8')
    # 创建一个worksheet
    worksheet = workbook.add_sheet('sheet1')
    workbook.save(str(filename)+'.xls')
    ##写入表头
    value1 = [["用户", "影评"]]
    book_name_xls = str(filename)+'.xls'
    write_excel_xls_append(book_name_xls, value1)

excel表有两个标题（用户, 影评）

写入excel

# 写入execl
def write_excel_xls_append(path, value):
    index = len(value)  # 获取需要写入数据的行数
    workbook = xlrd.open_workbook(path)  # 打开工作簿
    sheets = workbook.sheet_names()  # 获取工作簿中的所有表格
    worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格
    rows_old = worksheet.nrows  # 获取表格中已存在的数据的行数
    new_workbook = copy(workbook)  # 将xlrd对象拷贝转化为xlwt对象
    new_worksheet = new_workbook.get_sheet(0)  # 获取转化后工作簿中的第一个表格
    for i in range(0, index):
        for j in range(0, len(value[i])):
            new_worksheet.write(i+rows_old, j, value[i][j])  # 追加写入数据，注意是从i+rows_old行开始写入
    new_workbook.save(path)  # 保存工作簿

定义了写入excel函数，这样爬起每一页数据时候调用写入函数将数据保存到excel中。

最后采集了44130条数据（原本是4614个用户，每个用户大约有500~1000条数据，预计400万条数据）。但是为了演示分析过程，只爬取每一个用户的前30条观影记录（因为前30条是最新的）。

最后这44130条数据会在下面分享给大家。

03、数据分析挖掘

读取数据集

def read_excel():
    # 打开workbook
    data = xlrd.open_workbook('豆瓣.xls')
    # 获取sheet页
    table = data.sheet_by_name('sheet1')
    # 已有内容的行数和列数
    nrows = table.nrows
    datalist=[]
    for row in range(nrows):
        temp_list = table.row_values(row)
        if temp_list[0] != "用户" and temp_list[1] != "影评":
            data = []
            data.append([str(temp_list[0]), str(temp_list[1])])
            datalist.append(data)
    return datalist

从豆瓣.xls中读取全部数据放到datalist集合中。

分析1：电影观看次数排行

###分析1：电影观看次数排行
def analysis1():
    dict ={}
    ###从excel读取数据
    movie_data = read_excel()
    for i in range(0, len(movie_data)):
        key = str(movie_data[i][0][1])
        try:
            dict[key] = dict[key] +1
        except:
            dict[key]=1
    ###从小到大排序
    dict = sorted(dict.items(), key=lambda kv: (kv[1], kv[0]))
    name=[]
    num=[]
    for i in range(len(dict)-1,len(dict)-16,-1):
        print(dict[i])
        name.append(((dict[i][0]).split("/"))[0])
        num.append(dict[i][1])
    plt.figure(figsize=(16, 9))
    plt.title('电影观看次数排行(高->低)')
    plt.bar(name, num, facecolor='lightskyblue', edgecolor='white')
    plt.savefig('电影观看次数排行.png')

分析

  1. 由于用户信息来源于 『心灵奇旅』 评论，因此其用户观看量最大。
  2. 最近的热播电影中，播放量排在第二的是 『送你一朵小红花』，信条和拆弹专家2也紧跟其后。

分析2：用户画像（用户观影相同率最高）

###分析2：用户画像（用户观影相同率最高）
def analysis2():
    dict = {}
    ###从excel读取数据
    movie_data = read_excel()
 
 
    userlist=[]
    for i in range(0, len(movie_data)):
        user = str(movie_data[i][0][0])
        moive = (str(movie_data[i][0][1]).split("/"))[0]
        #print(user)
        #print(moive)
 
 
        try:
            dict[user] = dict[user]+","+str(moive)
        except:
            dict[user] =str(moive)
            userlist.append(user)
 
 
    num_dict={}
    # 待画像用户(取第一个）
    flag_user=userlist[0]
    movies = (dict[flag_user]).split(",")
    for i in range(0,len(userlist)):
        #判断是否是待画像用户
        if flag_user != userlist[i]:
            num_dict[userlist[i]]=0
            #待画像用户的所有电影
            for j in range(0,len(movies)):
                #判断当前用户与待画像用户共同电影个数
                if movies[j] in dict[userlist[i]]:
                    # 相同加1
                    num_dict[userlist[i]] = num_dict[userlist[i]]+1
    ###从小到大排序
    num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
    #用户名称
    username = []
    #观看相同电影次数
    num = []
    for i in range(len(num_dict) - 1, len(num_dict) - 9, -1):
        username.append(num_dict[i][0])
        num.append(num_dict[i][1])
 
 
    plt.figure(figsize=(25, 9))
    plt.title('用户画像（用户观影相同率最高）')
    plt.scatter(username, num, color='r')
    plt.plot(username, num)
    plt.savefig('用户画像（用户观影相同率最高）.png')

分析

以用户 『mumudancing』 为例进行用户画像

  1. 从图中可以看出，与用户 『mumudancing』 观影相同率最高的是：“请带我回布拉格”，其次是“李校尉”。
  2. 用户：'绝命纸牌', '笨小孩', '私享史', '温衡', '沈唐', '修左'，的观影相同率相同。

分析3:用户之间进行电影推荐

###分析3：用户之间进行电影推荐（与其他用户同时被观看过）
def analysis3():
    dict = {}
    ###从excel读取数据
    movie_data = read_excel()
 
 
    userlist=[]
    for i in range(0, len(movie_data)):
        user = str(movie_data[i][0][0])
        moive = (str(movie_data[i][0][1]).split("/"))[0]
        #print(user)
        #print(moive)
 
 
        try:
            dict[user] = dict[user]+","+str(moive)
        except:
            dict[user] =str(moive)
            userlist.append(user)
 
 
    num_dict={}
    # 待画像用户(取第2个）
    flag_user=userlist[0]
    print(flag_user)
    movies = (dict[flag_user]).split(",")
    for i in range(0,len(userlist)):
        #判断是否是待画像用户
        if flag_user != userlist[i]:
            num_dict[userlist[i]]=0
            #待画像用户的所有电影
            for j in range(0,len(movies)):
                #判断当前用户与待画像用户共同电影个数
                if movies[j] in dict[userlist[i]]:
                    # 相同加1
                    num_dict[userlist[i]] = num_dict[userlist[i]]+1
    ###从小到大排序
    num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
 
 
    # 去重（用户与观影率最高的用户两者之间重复的电影去掉）
    user_movies = dict[flag_user]
    new_movies = dict[num_dict[len(num_dict)-1][0]].split(",")
    for i in range(0,len(new_movies)):
        if new_movies[i] not in user_movies:
            print("给用户（"+str(flag_user)+"）推荐电影："+str(new_movies[i]))

分析

以用户 『mumudancing』 为例，对用户之间进行电影推荐

  1. 根据与用户 『mumudancing』 观影率最高的用户（A）进行进行关联，然后获取用户（A）的全部观影记录
  2. 将用户（A）的观影记录推荐给用户 『mumudancing』（去掉两者之间重复的电影）。

分析4:电影之间进行电影推荐

###分析4：电影之间进行电影推荐（与其他电影同时被观看过）
def analysis4():
    dict = {}
    ###从excel读取数据
    movie_data = read_excel()
 
 
    userlist=[]
    for i in range(0, len(movie_data)):
        user = str(movie_data[i][0][0])
        moive = (str(movie_data[i][0][1]).split("/"))[0]
        try:
            dict[user] = dict[user]+","+str(moive)
        except:
            dict[user] =str(moive)
            userlist.append(user)
 
 
    movie_list=[]
    # 待获取推荐的电影
    flag_movie = "送你一朵小红花"
    for i in range(0,len(userlist)):
        if flag_movie in dict[userlist[i]]:
             moives = dict[userlist[i]].split(",")
             for j in range(0,len(moives)):
                 if moives[j] != flag_movie:
                     movie_list.append(moives[j])
 
 
    data_dict = {}
    for key in movie_list:
        data_dict[key] = data_dict.get(key, 0) + 1
 
 
    ###从小到大排序
    data_dict = sorted(data_dict.items(), key=lambda kv: (kv[1], kv[0]))
    for i in range(len(data_dict) - 1, len(data_dict) -16, -1):
            print("根据电影"+str(flag_movie)+"]推荐："+str(data_dict[i][0]))

分析

以电影 『送你一朵小红花』 为例，对电影之间进行电影推荐

  1. 获取观看过 『送你一朵小红花』 的所有用户，接着获取这些用户各自的观影记录。
  2. 将这些观影记录进行统计汇总（去掉“送你一朵小红花”），然后进行从高到低进行排序，最后可以获取到与电影 『送你一朵小红花』 关联度最高排序的集合。
  3. 将关联度最高的前15部电影给用户推荐。

04、总结

  1. 分析爬取豆瓣平台数据思路，并编程实现。
  2. 对爬取的数据进行分析（电影观看次数排行、用户画像、用户之间进行电影推荐、电影之间进行电影推荐）
文章标签：
Python
数据挖掘
搜索推荐
关键词：
Python信息
Python分析数据
Python分析
Python数据
Python挖掘
Python研究者
目录
相关文章
zzy的aly
|
9天前
|
数据处理 Python
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
这篇文章介绍了如何使用Python读取Excel文件中的数据，处理后将其保存为txt、xlsx和csv格式的文件。
zzy的aly
27 3
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
zzy的aly
|
9天前
|
计算机视觉 Python
Python实用记录(九):将不同的图绘制在一起、将不同txt文档中的数据绘制多条折线图
这篇文章介绍了如何使用Python的OpenCV库将多张图片合并为一张图片显示，以及如何使用matplotlib库从不同txt文档中读取数据并绘制多条折线图。
zzy的aly
29 3
Python实用记录(九):将不同的图绘制在一起、将不同txt文档中的数据绘制多条折线图
Deephub
|
10天前
|
数据可视化 算法 Python
基于OpenFOAM和Python的流场动态模态分解：从数据提取到POD-DMD分析
本文介绍了如何利用Python脚本结合动态模态分解（DMD）技术，分析从OpenFOAM模拟中提取的二维切片数据，以深入理解流体动力学现象。通过PyVista库处理VTK格式的模拟数据，进行POD和DMD分析，揭示流场中的主要能量结构及动态特征。此方法为研究复杂流动系统提供了有力工具。
Deephub
22 2
基于OpenFOAM和Python的流场动态模态分解：从数据提取到POD-DMD分析
龙大吉
|
6天前
|
自然语言处理 算法 数据挖掘
探讨如何利用Python中的NLP工具，从被动收集到主动分析文本数据的过程
【10月更文挑战第11天】本文介绍了自然语言处理（NLP）在文本分析中的应用，从被动收集到主动分析的过程。通过Python代码示例，详细展示了文本预处理、特征提取、情感分析和主题建模等关键技术，帮助读者理解如何有效利用NLP工具进行文本数据分析。
龙大吉
25 2
东方睿赢
|
7天前
|
JSON 安全 数据安全/隐私保护
深度剖析：Python如何运用OAuth与JWT，为数据加上双保险🔐
【10月更文挑战第10天】本文介绍了OAuth 2.0和JSON Web Tokens (JWT) 两种现代Web应用中最流行的认证机制。通过使用Flask-OAuthlib和PyJWT库，详细展示了如何在Python环境中实现这两种认证方式，从而提升系统的安全性和开发效率。OAuth 2.0适用于授权过程，JWT则简化了认证流程，确保每次请求的安全性。结合两者，可以构建出既安全又高效的认证体系。
东方睿赢
25 1
LKIDTI数据
|
6天前
|
Python
Python实现系统基础信息
Python实现系统基础信息
LKIDTI数据
19 0
肥猪肥猪-17824
|
9天前
|
存储 程序员 开发者
Python编程基础：从入门到实践
【10月更文挑战第8天】在本文中，我们将一起探索Python编程的奇妙世界。无论你是初学者还是有一定经验的开发者，这篇文章都将为你提供有价值的信息。我们将从Python的基本概念开始，然后逐步深入到更复杂的主题，如数据结构、函数和类。最后，我们将通过一些实际的代码示例来巩固我们的知识。让我们一起开始这段Python编程之旅吧！
肥猪肥猪-17824
43 3
ShaFaChuang-36210
|
3天前
|
设计模式 开发者 Python
Python编程中的设计模式：从入门到精通####
【10月更文挑战第14天】 本文旨在为Python开发者提供一个关于设计模式的全面指南，通过深入浅出的方式解析常见的设计模式，帮助读者在实际项目中灵活运用这些模式以提升代码质量和可维护性。文章首先概述了设计模式的基本概念和重要性，接着逐一介绍了几种常用的设计模式，并通过具体的Python代码示例展示了它们的实际应用。无论您是Python初学者还是经验丰富的开发者，都能从本文中获得有价值的见解和实用的技巧。 ####
ShaFaChuang-36210
13 1
我不是游客20240119
|
10天前
|
机器学习/深度学习 数据采集 数据挖掘
探索Python编程的奥秘
【10月更文挑战第7天】本文将带你走进Python的世界，探索其背后的逻辑与魅力。我们将从基础语法开始，逐步深入到函数、面向对象编程等高级特性，最后通过实际项目案例，让你体验Python的强大与便捷。无论你是编程新手，还是有一定基础的开发者，都能在这篇文章中找到你需要的信息和启发。
我不是游客20240119
25 5
游客moiomvrp3vyac2
|
11天前
|
IDE 开发工具 Python
Python 编程入门：打造你的第一个程序
【10月更文挑战第6天】编程，这个听起来高大上又充满神秘感的领域，其实就像学习骑自行车一样。一开始你可能会觉得难以掌握平衡，但一旦你学会了，就能自由地穿梭在广阔的道路上。本文将带你走进 Python 的世界，用最简单的方式让你体验编写代码的乐趣。不需要复杂的理论，我们将通过一个简单的例子——制作一个猜数字游戏，来实践学习。准备好了吗？让我们开始吧！
游客moiomvrp3vyac2
33 5

热门文章

最新文章

  • 1
    行人车辆检测与计数系统（Python+YOLOv5深度学习模型+清新界面）
  • 2
    Python 技术篇-设置windows开机自动启用Jupyter服务，BAT批处理脚本启用jupyter服务设置，设置jupyter默认启动位置的方法
  • 3
    Python零基础学习笔记（二十八）—— 异常处理
  • 4
    python2.6升级到2.7
  • 5
    Python学习笔记-简单GUI开发
  • 6
    Python模块filecmp 文件比较
  • 7
    Python树莓派编程1.2.1　SD卡
  • 8
    Python爬虫之scrapy从入门到忘记
  • 9
    Python正则表达式指南下下半部　
  • 10
    python使用百度进行爬虫简单学习例子
  • 1
    AI时代Python金融大数据分析实战：ChatGPT让金融大数据分析插上翅膀
    310
  • 2
    Python 没有内置泛型
    36
  • 3
    讨论 Python 中泛型（或类似泛型的功能）的优点和缺点
    41
  • 4
    Python 中的类型注解是一种用于描述变量、函数参数和返回值预期类型的机制
    57
  • 5
    Python并发编程：利用多线程提升程序性能
    58
  • 6
    python中版本不兼容问题
    588
  • 7
    python中内存错误（MemoryError）
    333
  • 8
    优化Python代码性能的5个技巧
    52
  • 9
    深入理解Python中的生成器和迭代器
    43
  • 10
    Python 中的数据处理技巧：高效数据操作的艺术
    72

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 函数计算实战-云开发创建视觉AI应用
  • Python新手入门
  • Python入门
  • 一键创建和部署高分电影推荐语音技能
  • Python选择及循环结构
  • 古典密码体制的统计分析—— Vigenere密码

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • golang
    • 下一篇
    AI助理直击要害，从繁复中提炼精华——使用CDN加速访问OSS存储的图片