基于python豆瓣电影评论的情感分析和聚类分析,聚类分析有手肘法进行检验,情感分析用snownlp

简介: 本文介绍了一个基于Python的情感分析和聚类分析项目,使用snownlp库对豆瓣电影评论进行情感分析,并采用手肘法辅助K-means算法进行聚类分析,以探索评论中的不同主题和情感集群。

基于Python的豆瓣电影评论的情感分析和聚类分析是一种用于探索电影评论数据的方法。

情感分析
情感分析旨在从文本中提取情感信息,并对其进行分类,如正面、负面或中性。在这里,我们使用了一个名为snownlp的Python库来进行情感分析。Snownlp是一个基于概率算法和自然语言处理技术的情感分析工具。

首先,我们需要收集豆瓣电影的评论数据。可以使用豆瓣API或其他方式获取评论文本。接下来,我们将使用snownlp库对每条评论进行情感分析。该库会对文本进行处理并返回情感得分,该得分可以表示评论的情感极性。通过设定阈值,我们可以将评论划分为正面、负面或中性。

情感分析可以帮助我们了解用户对电影的情感倾向,并评估电影的受欢迎程度。例如,通过统计正面评论的比例,我们可以获知电影是否受到观众的喜爱。

聚类分析
聚类分析是一种将数据划分为相似组的方法,以便发现其中的模式和结构。在豆瓣电影评论中,我们可以使用聚类分析来将评论划分为不同的群组,每个群组具有相似的主题或情感。

一种常用的聚类算法是K-means算法。它通过计算数据点之间的距离,并将数据点分配到最近的簇中。在聚类分析中,我们通常会使用手肘法(Elbow Method)来确定最佳的簇数。

手肘法通过绘制簇数与聚类误差(即数据点与其所属簇中心的距离之和)之间的关系图。随着簇数的增加,聚类误差通常会逐渐减少。然而,当簇数增加到一定程度时,再增加簇数对聚类误差的减少作用较小。这时,图形呈现出一个明显的“弯曲”点,被称为“手肘点”。手肘点所对应的簇数被认为是最佳的簇数。

聚类分析可以帮助我们发现豆瓣电影评论中的不同主题、观点或情感集群。通过对不同群组进行进一步分析,我们可以了解电影受众的兴趣爱好、意见和评价。

主要代码:

import pandas as pd
df=pd.read\_csv('豆瓣评论 坚如磐石.csv')
from snownlp import SnowNLP
#获取情感分数
line0=\[\]
list1=\[\]
for line in df.values.tolist():
    s = SnowNLP(str(line\[1\]))
    print(s.sentiments)
    list1.append(s.sentiments)
    if (s.sentiments>= 0.6):
        line0.append('积极')
    elif (0.6>s.sentiments>= 0.4):
        line0.append('中性')
    else:
        line0.append('消极')
print(line0)
df\['情感分析'\]=line0
df\['情感分数'\]=list1
import matplotlib.pyplot as plt
from pylab import mpl
mpl.rcParams\['font.sans-serif'\] = \['FangSong'\] # 指定默认字体
mpl.rcParams\['axes.unicode\_minus'\] = False # 解决保存图像是负号'-'显示为方块的问题
data=df.groupby(by=\['情感分析'\])\['评论'\].count().reset\_index()

x=data\['情感分析'\].tolist()
y=data\['评论'\].tolist()
plt.figure(figsize=(20, 8), dpi=100)
# 绘制饼图
plt.pie(y, labels=x, autopct="%1.2f%%", colors=\['b','r','g','y','c','m','y','k','c','g','y'\])
# 显示图例
plt.legend()
# 添加标题
plt.title("情感分析饼图")
#为了让显示的饼图保持圆形,需要添加axis保证长宽一样
plt.axis('equal')
# 显示图像
plt.show()

运行效果

相关文章
|
29天前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:智能电影制作与剪辑
使用Python实现深度学习模型:智能电影制作与剪辑
45 5
|
2月前
|
数据采集 存储 机器学习/深度学习
豆瓣评分7.6!Python大牛教你如何采集网络数据
网络数据采集大有所为。在大数据深入人心的时代,网络数据采集作为网络、数据库与机器学习等领域的交汇点,已经成为满足个性化网络数据需求的最佳实践。你在浏览器上看到的内容,大部分都可以通过编写Python 程序来获取。如果你可以通过程序获取数据,那么就可以把数据存储到数据库里。如果你可以把数据存储到数据库里,自然也就可以将这些数据可视化。 今天给小伙伴们分享的这份手册采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。
|
2月前
|
XML 程序员 数据格式
豆瓣评分8.6!Python社区出版的Python故事教程,太强了!
Python 是活力四射的语言,是不断发展中的语言。就连使用 Python 多年的行者也不敢说对 Python 的方方面面都了解并可以自由运用,想必读者可能更加无法快速掌握所有重点技巧了。 今天给小伙伴们分享的这份手册是用互动的开发故事来探讨Pyfhonic开发的故事书籍,是一本Python语言详解书籍,由Python的行者根据自身经验组织而成,是为从来没有听说过Python的其他语言程序员准备的一份实用的导学性质的书,笔者试图将优化后的学习体验,通过故事的方式传达给读者。对于零基础的小白来说更建议入门后再来品读。
|
2月前
|
存储 JSON 算法
豆瓣评分9.4!最适合Python入门后进阶的Python食谱!
Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python的设计具有很强的可读性,相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构。
|
2月前
|
程序员 测试技术 开发工具
豆瓣评分7.9!世界级讲师耗时5年整理出的Python学习手册!
Python是一门流行的开源编程语言,广泛用于各个领域的独立程序与脚本化应用中。它不仅免费、可移植、功能强大,同时相对简单,而且使用起来充满乐趣。从软件业界的任意一角到来的程序员,都会发现Python着眼于开发者的生产效率以及软件质量,因此无论你的项目是大还是小,选择Python都将带来战略性的优势。 今天给小伙伴们分享的这份手册讲述了完整的Python语言,力争满足“语言”和“原理”两个方面的需求,并拥有足够的深度以便实用。废话不多说,下面展示给大家。
|
2月前
|
前端开发 JavaScript 关系型数据库
基于Python+Vue开发的电影订票管理系统
该项目是基于Python+Vue开发的电影订票管理系统(前后端分离),这是一项为大学生课程设计作业而开发的项目。该系统旨在帮助大学生学习并掌握Python编程技能,同时锻炼他们的项目设计与开发能力。通过学习基于Python的电影订票管理系统项目,大学生可以在实践中学习和提升自己的能力,为以后的职业发展打下坚实基础。
23 1
|
2月前
|
算法 数据挖掘 数据处理
豆瓣评分8.7!Python pandas创始人亲码的数据分析入门手册!
在众多解释型语言中,Python最大的特点是拥有一个巨大而活跃的科学计算社区。进入21世纪以来,在行业应用和学术研究中采用python进行科学计算的势头越来越猛。 近年来,由于Python有不断改良的库(主要是pandas),使其成为数据处理任务的一大代替方案,结合其在通用编程方面的强大实力,完全可以只使用Python这一种语言去构建以数据为中心的应用程序。 作为一个科学计算平台,Python的成功源于能够轻松的集成C、C++以及Fortran代码。大部分现代计算机环境都利用了一些Fortran和C库来是西安线性代数、优选、积分、快速傅里叶变换以及其他诸如此类的算法。
|
2月前
|
数据采集 存储 前端开发
豆瓣评分9.0!Python3网络爬虫开发实战,堪称教学典范!
今天我们所处的时代是信息化时代,是数据驱动的人工智能时代。在人工智能、物联网时代,万物互联和物理世界的全面数字化使得人工智能可以基于这些数据产生优质的决策,从而对人类的生产生活产生巨大价值。 在这个以数据驱动为特征的时代,数据是最基础的。数据既可以通过研发产品获得,也可以通过爬虫采集公开数据获得,因此爬虫技术在这个快速发展的时代就显得尤为重要,高端爬虫人才的收人也在逐年提高。
|
2月前
|
算法 数据挖掘 数据处理
豆瓣评分8.7!Python pandas创始人亲码的数据分析入门手册!
在众多解释型语言中,Python最大的特点是拥有一个巨大而活跃的科学计算社区。进入21世纪以来,在行业应用和学术研究中采用python进行科学计算的势头越来越猛。 近年来,由于Python有不断改良的库(主要是pandas),使其成为数据处理任务的一大代替方案,结合其在通用编程方面的强大实力,完全可以只使用Python这一种语言去构建以数据为中心的应用程序。 作为一个科学计算平台,Python的成功源于能够轻松的集成C、C++以及Fortran代码。大部分现代计算机环境都利用了一些Fortran和C库来是西安线性代数、优选、积分、快速傅里叶变换以及其他诸如此类的算法。
|
5天前
|
存储 程序员 开发者
Python编程基础:从入门到实践
【10月更文挑战第8天】在本文中,我们将一起探索Python编程的奇妙世界。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供有价值的信息。我们将从Python的基本概念开始,然后逐步深入到更复杂的主题,如数据结构、函数和类。最后,我们将通过一些实际的代码示例来巩固我们的知识。让我们一起开始这段Python编程之旅吧!