背景
算法简介
数据集介绍
数据探索流程
总结
本文数据为虚构，仅供实验
本实验拟在介绍文本类组件。如果您有相关的需求，想要提高最终的效果，请联系我们。我们为您提供完整的解决方案和商业合作。
背景
新闻分类是文本挖掘领域较为常见的场景。目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式，消耗了大量的人力资源。本文通过智能的文本挖掘算法对新闻文本进行分类。机器学习分为监督学习和无监督学习，本文采用监督学习的方式，实现文本分类任务。处理流程包括了分词、过滤停用词、训练doc2vec、逻辑回归多分类、预测、多分类评估。本文档采用算法和平台提供的案例模板的新闻分类略有不同，数据集下载地址文件1,文件2。
算法简介
本文算法原理是用一组向量来表示文档，然后进行多分类的逻辑回归来实现算法。
数据集介绍
数据截图如下：
字段介绍：
Label:新闻类型，也是我们的目标变量。
Text:文本类容
数据探索流程
实验流程图如下：
实现大致分为意下五个步骤：
1：读取数据并增加
2：对文本进行分词并过滤掉停用词
3：根据文本内容训练出doc2vec,拿到文本的向量表征
4：根据目标值进行多分类的逻辑回归
5：预测并进行结果分析
1、 读取数据并增加序号
(1).第一个组件是【读数据表】，表的创建与数据上传可以参考文档：https://help.aliyun.com/document_detail/69244.html?spm=a2c4g.11186623.6.558.3eb719ceorZ9Lq ，读取数据表可以参考文档中该组件试用方法：https://help.aliyun.com/document_detail/42709.html?spm=a2c4g.11186623.6.567.5b0618c0iejak2#%E8%AF%BB%E6%95%B0%E6%8D%AE%E8%A1%A8，执行完成后可以点击该组件右击--》查看数据，来查看你读取到的数据
(2).第二个组件是【增加序列号】，该组件执行完成后会给每一行分配一个append_id编号作为唯一标识，数据如下
(3).第三个组件是【类型转化】，该组件可以将数据类型转换，例如，int转换为string,我们这里将上一个组件生成的append_id编号从int转换到了string（这步骤可以不做，本实验中没什么意义）。
2、对文本进行分词并过滤掉停用词
(1). 第一个组件是【读数据表】，该表一行为一个停用词。
(2). 第二个组件是【split word】，将文本进行分词。
分词完毕结果如下图
(3).第三个组件是【停用词过滤】，对分完词的去掉停用词，停用词在文本中不重要
3、根据文本内容训练出doc2vec,拿到文本的向量表征
该组件是【Doc2Vec】，用一组向量来表征文本，参数设置如下
最终数据如图所示
4、根据目标值进行多分类的逻辑回归
(1).第一个组件是【Join】，由于我们doc2vec组件生成的数据缺失了label,所以我们需要关联原表，拿到label列，注意选择右表输出字段，只有当doc2vec执行完毕才能选到。
(2).第二个组件是【拆分】，按照比例0.8作为训练集，剩余数据作为测试集
(3).第三个组件是【逻辑回归多分类】
5、预测并进行结果分析
(1).第一个组件是预测，设置，生成数据如下
(2).第二个组件是多分类评估
执行完成后右击查看评估报告，可以看到最后的结果还是很不错的
实验总结
实验效果还是不错，F1值到达了0.9以上，超过工业标准的0.8。本实验在数据转换处多余，造成doc2vec完成后数据顺序混乱，当然最后用JOIN组件可以解决掉
