用Rapidminer做文本挖掘的应用:情感分析

简介: 用Rapidminer做文本挖掘的应用:情感分析

情感分析或观点挖掘是文本分析的一种应用,用于识别和提取源数据中的主观信息。

 

情感分析的基本任务是将文档,句子或实体特征中表达的观点分类为肯定或否定。本教程介绍了Rapidminer中情感分析的用法。此处提供的示例给出了电影列表及其评论,例如“  正面”  或“  负面”。该程序实现了Precision and Recall方法。  精度  是(随机选择的)检索文档相关的概率。 召回  是在搜索中检索到(随机选择的)相关文档的概率。高  召回率  意味着算法返回了大多数相关结果。精度高  表示算法返回的相关结果多于不相关的结果。

首先,对某部电影进行正面和负面评论。然后,单词以不同的极性(正负)存储。矢量单词表和模型均已创建。然后,将所需的电影列表作为输入。模型将给定电影列表中的每个单词与先前存储的具有不同极性的单词进行比较。电影评论是根据极性下出现的大多数单词来估算的。例如,当查看Django Unchained时,会将评论与开头创建的矢量单词表进行比较。最多的单词属于正极性。因此结果是肯定的。负面结果也是如此。

进行此分析的第一步是从数据中处理文档,即提取电影的正面和负面评论并将其以不同极性存储。该模型如图1所示。

图1

在“处理文档”下,单击右侧的“编辑列表”。在不同的类名称“ Positive”和“ Negative”下加载肯定和否定评论。

图2

在Process Document运算符下,发生嵌套操作,例如对单词进行标记,过滤停止单词。

然后使用两个运算符,例如Store和Validation运算符,如图1所示。Store运算符用于将字向量输出到我们选择的文件和目录中。验证算子(交叉验证)是评估统计模型准确性和有效性的一种标准方法。我们的数据集分为两个部分,一个训练集和一个测试集。仅在训练集上训练模型,并在测试集上评估模型的准确性。重复n次。双击验证运算符。将有两个面板-培训和测试。在“训练”面板下,使用了线性支持向量机(SVM),这是一种流行的分类器集,因为该函数是所有输入变量的线性组合。为了测试模型,我们使用“应用模型”运算符将训练集应用于我们的测试集。为了测量模型的准确性,我们使用“ Performance”运算符。

然后运行模型。类召回率%和精度%的结果如图5所示。模型和向量单词表存储在存储库中。

图5

然后从之前存储的存储库中检索模型和矢量单词表。然后从检索单词列表连接到图6所示的流程文档操作符。

然后单击“流程文档”运算符,然后单击右侧的编辑列表。这次,我从网站添加了5条电影评论的列表,并将其存储在目录中。为类名称分配未标记的名称,如图7所示。

Apply Model运算符从Retrieve运算符中获取一个模型,并从Process文档中获取未标记的数据作为输入,然后将所应用的模型输出到“实验室”端口,因此将其连接到“ res”(结果)端口。结果如下所示。当您查看《悲惨世界》时,有86.4%的人认为它是正面的,而13.6%的人认为是负面的,这是因为评论与正极性词表的匹配度高于负面。  

图8

相关文章
|
机器学习/深度学习 自然语言处理 数据挖掘
Python数据分析中文本分析的重要技术点,包括文本预处理、特征提取、情感分析
Python数据分析中文本分析的重要技术点,包括文本预处理、特征提取、情感分析
170 1
Python数据分析中文本分析的重要技术点,包括文本预处理、特征提取、情感分析
|
2月前
|
机器学习/深度学习 数据采集 自然语言处理
利用机器学习进行文本情感分析
【10月更文挑战第4天】本文将介绍如何使用机器学习技术对文本进行情感分析,包括预处理、特征提取、模型训练和结果评估等步骤。我们将使用Python编程语言和scikit-learn库来实现一个简单的情感分析模型,并对模型的性能进行评估。
|
3月前
|
机器学习/深度学习 自然语言处理 算法
使用Python实现简单的文本情感分析
【9月更文挑战第13天】本文将介绍如何使用Python编程语言进行基础的文本情感分析。我们将通过一个简单的例子,展示如何利用自然语言处理库nltk和机器学习库sklearn来实现对文本数据的情感倾向性判断。文章旨在为初学者提供一个入门级的指导,帮助他们理解并实践文本情感分析的基本步骤和方法。
61 6
|
4月前
|
机器学习/深度学习 数据采集 监控
【NLP-新闻文本分类】2特征工程
本文讨论了特征工程的重要性和处理流程,强调了特征工程在机器学习中的关键作用,并概述了特征工程的步骤,包括数据预处理、特征提取、特征处理、特征选择和特征监控。
36 1
|
7月前
|
数据采集 机器学习/深度学习 人工智能
Python实现文本情感分析
Python实现文本情感分析
101 1
|
7月前
|
自然语言处理 Python
使用Python实现文本分类与情感分析模型
使用Python实现文本分类与情感分析模型
112 1
|
7月前
|
机器学习/深度学习 自然语言处理 数据可视化
数据分享|R语言SVM支持向量机、文本挖掘新闻语料情感情绪分类和词云可视化
数据分享|R语言SVM支持向量机、文本挖掘新闻语料情感情绪分类和词云可视化
|
7月前
|
机器学习/深度学习 人工智能 算法
文本分析
文本分析
128 1
|
自然语言处理 搜索推荐
|
机器学习/深度学习 人工智能 自然语言处理
构建自然语言处理应用:文本分类和情感分析的实现
大家好!在这篇博客文章中,我们将探讨如何构建自然语言处理(NLP)应用程序,并重点介绍文本分类和情感分析的实现。NLP是人工智能领域的一个重要分支,它涉及处理和理解人类语言的能力。文本分类和情感分析是NLP的两个常见任务,可以应用于许多实际场景,如社交媒体监测、舆情分析和用户评论分类。
219 0