【Spark Summit EU 2016】Sparklint:Spark监控,识别与优化利器

简介: 本讲义出自Simon Whitear在Spark Summit EU 2016上的演讲,主要介绍了用于监控,识别并优化低效Spark的工具Sparklint。由于成功的Spark集群的规模往往会迅速扩张,往往会出现能力与任务不匹配的情况并造成资源竞争,为了使得Spark集群的效率得到提升,所以需要Sparklint这样的监控优化工具。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自 Simon Whitear在Spark Summit EU 2016上的演讲,主要介绍了用于监控,识别并优化低效Spark的工具Sparklint。由于成功的Spark集群的规模往往会迅速扩张,往往会出现能力与任务不匹配的情况并造成资源竞争,为了使得Spark集群的效率得到提升,所以需要Sparklint这样的监控优化工具。


fee3910ab3af797bbf4edc2f028a83ed851836f5

2d2c664e16ebb7179274319591aa8360205f0bc4

77f97b17fbde0278533f9e3152736fad5f2f680e

c87aefe0d683908d071737ce62351981cd2391c1

4bc39723b49db4738c15e5affc01dae04f3f19e9

dd1a05deb59f1213c257e7cebc82852be95c6bb2

f770500fd857ec6d6b4b35613f4cb865a7273852

3e1692dce411ae5a249642df3f657edb1a90fa9f

5059c69c23647748f8010f10dc60e9f62f38dd9c

2da69671aef346aeb4e6ae09bb813166904a091a

6eda54d9af8e8b924873d7f7c74d441b13dd5dbd

cc935d7c9f018f11dc843d1021e98efd8a60feec

e3dd00dacd5c152c65c11a6e0d81fc3afa73de99

bd8f243a1108c3b7fdfd833ff7beb6ef0011905f

d1fec7aa095fdb7fac2c7c2c31b24ef0bbc00048

d4536b6e7cbc70818a8e2341c068de903c062466

eb82d14d5362e1ed75b7e1128ba3a7457674458f

69757d74dbd4e9e74da57bc862d4f28155f319ee

bd4577ac6aca936f59fa8c27e236dcb156a74457

相关文章
|
分布式计算 资源调度 监控
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
|
25天前
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作?
【10月更文挑战第18天】
|
2月前
|
存储 分布式计算 监控
Spark如何优化?需要注意哪些方面?
【10月更文挑战第10天】Spark如何优化?需要注意哪些方面?
40 6
|
2月前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
39 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
|
2月前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
42 0
|
4月前
|
存储 分布式计算 供应链
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
|
4月前
|
分布式计算 并行计算 数据处理
|
4月前
|
大数据 RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
44 0
|
6月前
|
缓存 分布式计算 监控
Spark 优化方案
Spark 优化方案
|
7月前
|
分布式计算 资源调度 监控
spark 监控梳理
spark 监控梳理
spark 监控梳理

热门文章

最新文章