【Spark Summit EU 2016】规模不断扩展的服务器集群上Spark的性能表征

简介: 本讲义出自Ahsan Javed Awan在Spark Summit EU 2016上的演讲,主要介绍了在服务器集群的规模不断扩展的状态下,如何获取运行于服务器集群上的Spark的性能指标并对于性能进行优化,并分享了为了使得架构设计能够提升节点级别的性能表现,该如何确定衡量指标,以及如何设计可扩展的架构。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Ahsan Javed Awan在Spark Summit EU 2016上的演讲,主要介绍了在服务器集群的规模不断扩展的状态下,如何获取运行于服务器集群上的Spark的性能指标并对于性能进行优化,并分享了为了使得架构设计能够提升节点级别的性能表现,该如何确定衡量指标,以及如何设计可扩展的架构。


dc240a591b2c3994b985c5e7be14ac8b8cb81860

7d89ededff0682974d181828a6b3d61f315b61dc

24459cf8773ee24a452946989bba1809d01c66d6

fb95b74daed5896ab6be7f03dfd951a339490a6d

9558f8af17425f972bb3f790f8313eae8dde5b9e

27586bf93dbb9603c839b07941189daba9693f54

857968ac066384ba909838be01f943919f547ff5

a4e49194c50bc8fe60baae2ab9b9417d2df3aae1

77966d76ca517e5c2ac0394035efa888a66d7963

d92017372d85f7bfc48e42ab88dea18daa192686e356387f31a286c6f2816f049cbbd54c491104b8e127e5fb67a1245d8ad84d70ab49c3be2574bf5a07dd6273df43b4115705f9f2b8af3b96f8a000c46b45f8d127e64206edeecacd69435ec12b4094dc7385431df3397b7e56ba8887413e3870c9817d2c

f4981d721031f6c5a9592570d0c5124dbb453af9

7c42119ea201a626942242afce2dbe44829ba4e5

84c4ebc0fb1f4b6046b2e68adac63cb92684c51a

f75149700b886a6c75782093e02a10c6665fe8b6

ac1f915cfbf44ad07cb325250cf90768d1fcc267

1a718e59a6c6e4d986392faf19eb790241376772

41beb67b46f452fd4d9fd881e0408b1d4f8a6fac

7693e0c5704a558b56a1785daeb61ba0d1b260f2

0569ec26e2d9789e7b334c21123e26f839aeaabb

02296113dbb17192af8b216738ee05a9970ff13d

673656012a3d66634f21dcaa26767b05111cf940

6258e6af1f6a18dcf3c322769f617b97e677af2b

aba605c785b43f581b08d9cec9b0513a9579eafd

d0502f9f2e6a2b6ed701bd51d65b935c8eb4c6f7

相关文章
|
2月前
|
大数据 RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
36 0
|
5月前
|
缓存 分布式计算 监控
Spark RDD操作性能优化技巧
Spark RDD操作性能优化技巧
|
5月前
|
存储 缓存 分布式计算
Spark RDD持久化与缓存:提高性能的关键
Spark RDD持久化与缓存:提高性能的关键
|
5月前
|
分布式计算 Java 调度
Spark中的Shuffle过程是什么?为什么它在性能上很关键?
Spark中的Shuffle过程是什么?为什么它在性能上很关键?
202 0
|
SQL 机器学习/深度学习 分布式计算
「大数据架构」Spark 3.0发布,重大变化,性能提升18倍
「大数据架构」Spark 3.0发布,重大变化,性能提升18倍
|
SQL 数据采集 存储
工作经验分享:Spark调优【优化后性能提升1200%】
工作经验分享:Spark调优【优化后性能提升1200%】
977 1
工作经验分享:Spark调优【优化后性能提升1200%】
|
SQL 分布式计算 Spark
SPARK SQL中 CTE(with表达式)会影响性能么?
SPARK SQL中 CTE(with表达式)会影响性能么?
704 0
SPARK SQL中 CTE(with表达式)会影响性能么?
|
SQL 缓存 分布式计算
Spark性能调优与故障处理
Spark性能调优 Spark数据倾斜 Spark Troubleshooting
516 0