机器学习 —— 使用机器学习进行情感分析 演示版(上)https://developer.aliyun.com/article/1507860?spm=a2c6h.13148508.setting.20.1b484f0emHkERh
搭建训练模型
- 导入库。作用如图所示。
- 定义参数网格。主要参数解释如图所示。
- 创建机器学习流水线,可以简化代码,将步骤封装成完整的工作流,避免了代码重复。
- 导入模型,并训练。
- 打印最优组合。
- 实现结果:
随机梯度下降算法
当数据集过大,我们可以用随机梯度下降算法(SGD)。SGD主要应用在大规模稀疏数据问题上,经常用在文本分类及自然语言处理,是深度学习中常用的优化算法之一。
- 数据预处理和数据划分与前文相同,仅截图展示。
- 导入训练模型。
- 分批次加载训练集数据,每次加载1000条,共45*1000。
- 使用模型对测试数据集进行评估,并打印评估结果。
- 实现结果:
与第一种方法对比可知,第二种方法准确度更高。
三、可视化分析
对训练集和测试集的准确率进行可视化分析
- 如图所示,进行10次迭代,仅展示核心代码:
- 绘制训练集和测试集准确率随迭代次数的变化:
- 可视化
如图所示,在训练集上进行部分拟合后,十次迭代的准确度与测试集经过十次迭代的准确度相差不远,说明模型欠拟合。
对训练集经过深度学习后的准确率与损失函数进行可视化分析
- 如图所示,搭建深度学习模型,训练后获取准确度和损失函数,仅展示核心代码:
- 绘制训练集准确率和损失函数曲线:
3. 可视化
如图所示,在训练集上进行深度学习后,准确度远远高于验证准确度,而且损失函数也比验证损失函数小,说明深度学习训练效果好。