【Spark Summit East 2017】Ernest:基于Spark的性能预测大规模分析框架

简介: 本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲,近期使用Spark进行机器学习,基因组学和科学分析呈现增长的趋势,然而将这些应用部署在云计算平台上是有一定挑战性的,而应对上述挑战的关键在于有能力预测的应用程序在保持高性能的状态下所需要的资源配置,这样就可以自动选择最优配置。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲,近期使用Spark进行机器学习,基因组学和科学分析呈现增长的趋势,然而将这些应用部署在云计算平台上是有一定挑战性的,而应对上述挑战的关键在于有能力预测的应用程序在保持高性能的状态下所需要的资源配置,这样就可以自动选择最优配置。本讲义主要介绍了Ernest——性能预测大规模分析的框架。


db47ede01f502ed0e1880cb8009c20a0d1a2ce82

4ec09c23b5b97c201d5ad8500f1416f63a96086a

a4df004465122253d4fbff1034a95fd68c22c038

e228384f66a8ff9a4b4768ebbcd6cd63f3722c30

ec201c397c8b9df566f708e77131f1ced32d9c29

b7574a22585b0c2972a44730746144afed50b642

ad8c2da3d1f6467f8b565763c5d4886130224dba

f5ae8be3c355897a476a0d0ca020a6455026d581

97cc22fd1a3c42bbd445e5b11d82fc9c9a689b63

e0ba40062967b9ff6288e5ff2a4cc9ae3a7c4f0f

b411fb650b8c8f4e115d13c3bfc51eca9dedcbbd

184574876c472a25acc5c7556d04da0395afe0e9

3470ba9bc4b70403960a4384100d04d8bb87162b

4947a83c90b5a0c9d1d98a2f435ede1dccb8ba4a

190034bd3add12509cc59a75679af735a2ff15ad

fbbf2574d5fe1289c79833bc18f4e3db0127153e

2ce83482db6ddf485bdf620bcd19de9e59439d93

2b44da0b96ee30c27263b3108bdecb241aef65ed

7714cec67322632d9f7dda44582384ceb77d8fb3

dc20e39ec68e8c1330be97be04498750de71f870

4fb4ff2362dae0ac5be08749f7ce41eb59a9b71e

b264c154a4963ccf4c73b3e88de16b9d59f3a6fb

5e63a45304edd67bed94d071575f9e2eb3f39b03

725065175dd499454cd6b2df6c617c400f7955fb

dd94f7186d55cf69ab17a5301b462f9cd849a57c

9fd2fe644054fe8915b3e86e05afb3ae0df57987

f44df712835967c23804b48ef464fb3761d7a0d2

33c03f3bc399499ff664e2cd355505da19488ac0

4e759ae808421984cef5a2a45141fd36ec5e10e5

0ce5296f5170c74b14a74b8429e6e539067593ce

e40b154e1f6676f38addbd518b7804c3709980a4

4f059a07e9150e21cb173b4df3d920a5c1cc7cdc

70a0dafbf5402eb6a309bdf072c1f1281c1d6021

e43d2f0f29edd14546493be4e9d9915902546b80

c30705b3882f7b6d2988744b13d1093a12e25bce

相关文章
|
5月前
|
机器学习/深度学习 分布式计算 算法
Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者,聚焦Spark实用技巧,同时深入核心概念。作者团队来自Databricks,书中详述Spark 3.0新特性,结合机器学习展示大数据分析。Spark是大数据分析的首选工具,本书助你驾驭这一利器。[PDF下载链接][1]。 ![Spark Book Cover][2] [1]: https://zhangfeidezhu.com/?p=345 [2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
187 1
Spark快速大数据分析PDF下载读书分享推荐
|
7月前
|
移动开发 分布式计算 Spark
Spark的几种去重的原理分析
Spark的几种去重的原理分析
144 0
|
2月前
|
SQL 分布式计算 Serverless
EMR Serverless Spark:一站式全托管湖仓分析利器
本文根据2024云栖大会阿里云 EMR 团队负责人李钰(绝顶) 演讲实录整理而成
169 2
|
2月前
|
设计模式 数据采集 分布式计算
企业spark案例 —出租车轨迹分析
企业spark案例 —出租车轨迹分析
98 0
|
4月前
|
分布式计算 资源调度 Shell
如何开始使用Spark框架?
【8月更文挑战第31天】如何开始使用Spark框架?
82 2
|
4月前
|
SQL 机器学习/深度学习 分布式计算
Spark框架
【8月更文挑战第31天】Spark框架
43 2
|
5月前
|
弹性计算 分布式计算 Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23727 42
|
7月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56606 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
6月前
|
机器学习/深度学习 数据采集 分布式计算
基于spark的大数据分析预测地震受灾情况的系统设计
基于spark的大数据分析预测地震受灾情况的系统设计
167 1
|
7月前
|
分布式计算 Hadoop 大数据
分布式计算框架比较:Hadoop、Spark 与 Flink
【5月更文挑战第31天】Hadoop是大数据处理的开创性框架,专注于大规模批量数据处理,具有高扩展性和容错性。然而,它在实时任务上表现不足。以下是一个简单的Hadoop MapReduce的WordCount程序示例,展示如何统计文本中单词出现次数。
222 0
下一篇
DataWorks