机器学习 —— 使用机器学习进行情感分析 演示版(下)

简介: 机器学习 —— 使用机器学习进行情感分析 演示版(下)

机器学习 —— 使用机器学习进行情感分析 演示版(上)https://developer.aliyun.com/article/1507860?spm=a2c6h.13148508.setting.20.1b484f0emHkERh


搭建训练模型

  1. 导入库。作用如图所示。

  1. 定义参数网格。主要参数解释如图所示。

  1. 创建机器学习流水线,可以简化代码,将步骤封装成完整的工作流,避免了代码重复。

  1. 导入模型,并训练。

  1. 打印最优组合。

  1. 实现结果:

随机梯度下降算法

       当数据集过大,我们可以用随机梯度下降算法(SGD)。SGD主要应用在大规模稀疏数据问题上,经常用在文本分类及自然语言处理,是深度学习中常用的优化算法之一。

  1. 数据预处理和数据划分与前文相同,仅截图展示。

  1. 导入训练模型。

  1. 分批次加载训练集数据,每次加载1000条,共45*1000。

  1. 使用模型对测试数据集进行评估,并打印评估结果。

  1. 实现结果:

       与第一种方法对比可知,第二种方法准确度更高。

三、可视化分析

对训练集和测试集的准确率进行可视化分析

  1. 如图所示,进行10次迭代,仅展示核心代码:

  1. 绘制训练集和测试集准确率随迭代次数的变化:

  1. 可视化

       如图所示,在训练集上进行部分拟合后,十次迭代的准确度与测试集经过十次迭代的准确度相差不远,说明模型欠拟合。

对训练集经过深度学习后的准确率与损失函数进行可视化分析

  1. 如图所示,搭建深度学习模型,训练后获取准确度和损失函数,仅展示核心代码:

  1. 绘制训练集准确率和损失函数曲线:

3. 可视化

       如图所示,在训练集上进行深度学习后,准确度远远高于验证准确度,而且损失函数也比验证损失函数小,说明深度学习训练效果好。


相关文章
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
基于非英语数据集的图形机器学习和集成学习方法增强文本分类和文本情感分析
基于非英语数据集的图形机器学习和集成学习方法增强文本分类和文本情感分析 摘要 近年来,机器学习方法,特别是图学习方法,在自然语言处理领域,特别是文本分类任务中取得了巨大的成果。然而,许多这样的模型在不同语言的数据集上显示出有限的泛化能力。在本研究中,我们在非英语数据集(如波斯语Digikala数据集)上研究并阐述了图形机器学习方法,该方法由用户对文本分类任务的意见组成。更具体地说,我们研究了(Pars)BERT与各种图神经网络(GNN)架构(如GCN、GAT和GIN)的不同组合,并使用集成学习方法来处理某些知名的非英语数据集上的文本分类任务。我们的分析和结果表明,应用GNN模型可以更好地捕捉文
74 0
|
7天前
|
机器学习/深度学习 算法 Cloud Native
利用机器学习进行情感分析:从理论到实践云原生技术在现代软件开发中的应用与挑战
【5月更文挑战第31天】本文旨在深入探讨机器学习在情感分析领域的应用。首先,我们将解释什么是情感分析以及为什么它在今天的世界中如此重要。然后,我们将详细介绍几种主要的机器学习算法,包括决策树、随机森林和神经网络,以及它们如何被用于情感分析。最后,我们将通过一个实际的案例研究来展示这些理论在实践中的应用。
|
11天前
|
机器学习/深度学习 数据采集 自然语言处理
利用机器学习进行情感分析:技术与应用
本文将探讨机器学习在情感分析领域的应用。首先,我们将介绍情感分析的基本概念和重要性。接着,我们将详细讨论如何使用机器学习技术进行情感分析,包括数据预处理、特征提取、模型训练和评估等步骤。最后,我们将展示一些实际的情感分析应用案例。
|
23天前
|
机器学习/深度学习 存储 自然语言处理
机器学习 —— 使用机器学习进行情感分析 详细介绍版
机器学习 —— 使用机器学习进行情感分析 详细介绍版
|
23天前
|
机器学习/深度学习 数据采集 存储
机器学习 —— 使用机器学习进行情感分析 演示版(上)
机器学习 —— 使用机器学习进行情感分析 演示版
|
23天前
|
机器学习/深度学习 自然语言处理 监控
利用机器学习进行情感分析:技术详解与实践
【5月更文挑战第13天】本文探讨了利用机器学习进行情感分析的方法,包括技术原理、常用算法和实践应用。情感分析涉及文本预处理(如清洗、分词和去除停用词)、特征提取(如词袋模型、TF-IDF和Word2Vec)及分类器训练(如朴素贝叶斯、SVM和RNN/LSTM)。常见情感分析算法有朴素贝叶斯、支持向量机和深度学习模型。实践中,情感分析应用于社交媒体监控、产品评论分析等领域。通过本文,读者可了解情感分析的基础知识及其应用价值。
|
23天前
|
机器学习/深度学习 自然语言处理 算法
探索机器学习在情感分析中的应用
【4月更文挑战第11天】 随着人工智能技术的飞速发展,机器学习已经成为处理和理解自然语言的强大工具。本文将深入探讨机器学习模型如何应用于情感分析领域,解析从文本数据中提取情绪倾向的技术和流程。不同于传统的摘要方式,我们将直接进入主题,剖析算法细节,并讨论实际应用中的挑战与解决方案。
|
9月前
|
机器学习/深度学习 数据采集 自然语言处理
Python 基于机器学习的微博情感分析与研究
Python 基于机器学习的微博情感分析与研究
|
8天前
|
机器学习/深度学习 算法 TensorFlow
机器学习算法简介:从线性回归到深度学习
【5月更文挑战第30天】本文概述了6种基本机器学习算法:线性回归、逻辑回归、决策树、支持向量机、随机森林和深度学习。通过Python示例代码展示了如何使用Scikit-learn、statsmodels、TensorFlow库进行实现。这些算法在不同场景下各有优势,如线性回归处理连续值,逻辑回归用于二分类,决策树适用于规则提取,支持向量机最大化类别间隔,随机森林集成多个决策树提升性能,而深度学习利用神经网络解决复杂模式识别问题。理解并选择合适算法对提升模型效果至关重要。
175 4
|
3天前
|
机器学习/深度学习 数据采集 算法
基于机器学习的推荐算法构建技术详解
【6月更文挑战第4天】本文详述了构建基于机器学习的推荐算法,特别是协同过滤方法。从用户和物品相似性的角度,解释了用户-用户和物品-物品协同过滤的工作原理。涵盖了数据准备、预处理、特征工程、模型训练、评估优化及结果展示的构建流程。推荐算法在电商、视频和音乐平台广泛应用,未来将受益于大数据和AI技术的进步,提供更智能的推荐服务。