更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。
【Spark Summit EU 2016】Sparklint:Spark监控，识别与优化利器
2017-02-14
3317
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Simon Whitear在Spark Summit EU 2016上的演讲，主要介绍了用于监控，识别并优化低效Spark的工具Sparklint。由于成功的Spark集群的规模往往会迅速扩张，往往会出现能力与任务不匹配的情况并造成资源竞争，为了使得Spark集群的效率得到提升，所以需要Sparklint这样的监控优化工具。
目录
相关文章
|
分布式计算
资源调度
监控
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
79
0
0
|
16天前
|
存储
分布式计算
监控
|
22天前
|
分布式计算
Java
大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
30
0
0
|
22天前
|
SQL
分布式计算
大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
28
0
0
|
3月前
|
存储
分布式计算
供应链
|
3月前
|
分布式计算
并行计算
数据处理
|
3月前
|
大数据
RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
38
0
0
|
5月前
|
缓存
分布式计算
监控
|
6月前
|
分布式计算
资源调度
监控
|
6月前
|
分布式计算
监控
大数据
热门文章
最新文章
1
Spark-ML-01-小试spark分析离线商品信息
2
Spark做TPC-DS性能测试
3
[Spark][Python]Spark Python 索引页
4
Spark Job的提交与task本地化分析（源码阅读八）
5
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
6
Spark-构建基于Spark的推荐引擎
7
Spark PruneDependency 依赖关系 RangePartitioner
8
Spark Master启动源码分析
9
十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
10
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
1
bigdata-36-Spark转换算子与动作算子
45
2
Paimon 与 Spark 的集成（二）：查询优化
118202
3
阿里云 EMR Serverless Spark 版免费邀测中
946
4
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
345
5
安装Spark
88
6
Spark学习---day07、Spark内核（Shuffle、任务执行）
104
7
Spark读取变更Hudi数据集Schema实现分析
127
8
实战|使用Spark Streaming写入Hudi
274
9
adb spark的lakehouse api访问内表数据，还支持算子下推吗
140
10
Spark学习---day06、Spark内核（源码提交流程、任务执行）
95