Apache Spark机器学习.1.6 机器学习工作流和Spark pipeline-阿里云开发者社区

开发者社区> 华章计算机> 正文

Apache Spark机器学习.1.6 机器学习工作流和Spark pipeline

简介:
+关注继续查看

1.6 机器学习工作流和Spark pipeline


在本节中,我们介绍机器学习工作流和Spark pipeline,然后讨论Spark pipeline作为机器学习计算工作流的优秀工具是如何发挥作用的。

学习完本节,读者将掌握这两个重要概念,并且为编程和实现机器学习工作流的Spark pipeline做好准备。

机器学习的工作流步骤

几乎所有的机器学习项目均涉及数据清洗、特征挖掘、模型估计、模型评估,然后是结果解释,这些都可以组织为循序渐进的工作流。这些工作流有时称为分析过程。

有些人甚至定义机器学习是将数据转化为可执行的洞察结果的工作流,有些人会在工作流中增加对业务的理解或问题的定义,以作为他们工作的出发点。

在数据挖掘领域,跨行业数据挖掘标准过程(CRISP-DM)是一个被广泛接受和采用的标准流程。许多标准机器学习的工作流都只是CRISP-DM工作流某种形式上的变型。

 

正如上图所示,任何标准CRISP-DM的工作流都需要以下所有的6个步骤:

1.业务理解

2.数据理解

3.数据准备

4.建模

5.评估

6.部署

一些人可能会在其中补充分析方法选择和结果解释,以使其更加完整。对于复杂的机器学习项目,会有一些分支和反馈回路,使工作流程变得非常复杂。

换句话说,有一些机器学习的项目,在我们完成模型评估之后,可能会回到建模甚至是数据准备的步骤。在数据准备步骤之后,我们可以将其分为两种以上的建模类型分支。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
走进机器学习
欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习、深度学习的知识! 机器学习(Machine Learning, ML),顾名思义就是要让机器能像人一样去学习。
1033 0
Spark学习之RDD编程(2)
Spark学习之RDD编程(2) 1. Spark中的RDD是一个不可变的分布式对象集合。 2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。 3. 创建RDD:1)读取一个外部数据集2)在驱动器程序里分发驱动器程序中的对象集合。 4. RDD支持的操作: 1)转换操作,由一个RDD生成一个新的RDD。 2)行动
1396 0
何谓机器学习?
       最近我和一对夫妇共进晚餐,他们问我从事什么职业,我回应道:“机器学习。”妻子回头问丈夫:“亲爱的,什么是机器学习?”她的丈夫答道:“T-800型终结者。”在《终结者》系列电影中,T-800是人工智能技术的反面样板工程。
999 0
基于Spark的机器学习实践 (三) - 实战环境搭建
0 相关源码 1 Spark环境安装 ◆ Spark 由scala语言编写,提供多种语言接口,需要JVM ◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译 ◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境 下载 解压 tar zxvf spark-2.
1049 0
Spark学习之在集群上运行Spark(6)
Spark学习之在集群上运行Spark(6) 1. Spark的一个优点在于可以通过增加机器数量并使用集群模式运行,来扩展程序的计算能力。 2. Spark既能适用于专用集群,也可以适用于共享的云计算环境。 3. Spark在分布式环境中的架构: Created with Raphaël 2.1.0我的操作集群管理器Mesos、YARN、或独立集群管理器N
1200 0
Spark学习之编程进阶——累加器与广播(5)
Spark学习之编程进阶——累加器与广播(5) 1. Spark中两种类型的共享变量:累加器(accumulator)与广播变量(broadcast variable)。累加器对信息进行聚合,而广播变量用来高效分发较大的对象。 2. 共享变量是一种可以在Spark任务中使用的特殊类型的变量。 3. 累加器的用法: 通过在驱动器中调用SparkContex
1377 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载