Apache Spark机器学习3.7 部署Apache

简介:

3.7 部署


有一些用户可能已经拥有了部署系统,按用户所需的格式将所开发的模型导出即可。

对于线性回归模型,MLlib支持将模型导出为预测模型标记语言(Predictive Model Markup Language,PMML)。

更多关于MLlib导出PMML模型的信息,请访问:https://spark.apache.org/docs/latest/mllib-pmml-model-export.html。

对于R notebook,PMML可以直接在其他环境运行。使用R语言函数包PMML,可以将R语言模型导出。

更多关于R语言函数包PMML的信息,请访问:http://journal.r-project.org/archive/ 2009-1/RJournal_2009-1_Guazzelli+et+al.pdf。

可以将决策模型直接部署在Apache Spark上,便于用户访问使用。

这里有两个部署结果经常使用的方法:(1)仪表盘和(2)基于规则的决策。我们根据结果提供的对象来选择合适的方法。

这里,我们简单介绍了这两个方法。详细的决策部署需要优化,这不是本章的主要内容。在后续的章节中,我们会花一些时间介绍部署,让读者了解更多。

3.7.1 仪表盘

对于实时分析仪表盘,很多用户将Spark 流处理和其他工具一起使用。

我们的工作是采用一个简单的仪表盘方法通过图形和表格将分析结果呈现给用户。所有仪表盘的交换性均与一个或多个特征的绘制相关。特征更新时,每个绘制算法会再次自动执行并重新绘制图形。

对于R notebook,我们可以使用R语言程序包shiny 和 shinydashboard来快速建立仪表盘。

更多关于使用shinydashboard程序包的方法,请访问:https://rstudio.github.io/shinydashboard/。

新版的Databricks也提供了仪表盘的构建工具。只需前往“Workspace -> Create -> Dashboard”启用它即可。

Databricks的仪表盘功能强大,效果直观。建立后,用户只需要点击一下按钮,就可以给公司员工或其他用户发布一个仪表盘。

3.7.2 规则

有很多工具可以将所有模型结果转变为规则。特别是R语言的计算结果,有几个工具可以用来将预测模型的结果提取为规则。

我们使用R语言程序包rpart.utils以不同的格式提取和导出决策树模型的规则,导出格式包括RODBC。

更多关于R语言程序包rpart.utils的信息,请访问:https://cran.r-project.org/web/packages/rpart.utils/rpart.utils.pdf。

关于MLlib提取规则的讨论,请访问:http://stackoverflow.com/questions/31782288/how-to-extract-rules-from-decision-tree-spark-mllib。

相关文章
|
1月前
|
分布式计算 大数据 数据处理
Apache Spark:提升大规模数据处理效率的秘籍
【4月更文挑战第7天】本文介绍了Apache Spark的大数据处理优势和核心特性,包括内存计算、RDD、一站式解决方案。分享了Spark实战技巧,如选择部署模式、优化作业执行流程、管理内存与磁盘、Spark SQL优化及监控调优工具的使用。通过这些秘籍,可以提升大规模数据处理效率,发挥Spark在实际项目中的潜力。
44 0
|
1月前
|
人工智能
一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流(清晰的实例)
用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流(清晰的实例)
167 2
|
6天前
|
安全 Linux 网络安全
Linux _ apache服务器部署 不同域名—访问不同网站(多网站)
Linux _ apache服务器部署 不同域名—访问不同网站(多网站)
|
10天前
|
机器学习/深度学习 分布式计算 算法
使用Spark进行机器学习
【5月更文挑战第2天】使用Spark进行机器学习
16 2
|
11天前
|
网络安全 API Apache
如何在win系统部署Apache服务并实现无公网ip远程访问
如何在win系统部署Apache服务并实现无公网ip远程访问
|
14天前
|
机器学习/深度学习 存储 人工智能
人工智能平台PAI产品使用合集之是否可以在模型部署发布后以http接口形式提供给业务开发人员使用
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
14天前
|
机器学习/深度学习 人工智能 运维
人工智能平台PAI产品使用合集之机器学习PAI可以通过再建一个done分区或者使用instance.status来进行部署吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
14天前
|
机器学习/深度学习 人工智能 NoSQL
人工智能平台PAI产品使用合集之机器学习PAI EasyRec训练时,怎么去除没有意义的辅助任务的模型,用于部署
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
14天前
|
机器学习/深度学习 人工智能 算法
人工智能平台PAI产品使用合集之PAI机器学习预置处理器在部署完成后怎么进行调用
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
14天前
|
机器学习/深度学习 人工智能 API
人工智能平台PAI产品使用合集之机器学习PAI-EAS部署好后,服务的公网API和URL怎么配置
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

推荐镜像

更多