【Spark Summit EU 2016】SparkOscope:优化Spark的跨栈监控与可视化框架

简介: 本讲义出自Yiannis Gkoufas在Spark Summit EU上的演讲,主要介绍了Spark监控框架的基本架构,并且对于Spark监控框架的扩展SparkOscope进行了详细地介绍,对于SparkOscope的架构基本原理以及基本安装方式等进行了介绍。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Yiannis Gkoufas在Spark Summit EU上的演讲,主要介绍了Spark监控框架的基本架构,并且对于Spark监控框架的扩展SparkOscope进行了详细地介绍,对于SparkOscope的架构基本原理以及基本安装方式等进行了介绍。


44a1c258d9eb5e1a2e4d18d3eca686e0639bccc3

839fd4d514ecca81e3262df6871f8898d3547764

200af88435cd292c8f213ec0ee0bbbfb2f409ea3

96c1952cd76be47a0e353351a9f4ba4fabfb7b54

07b53ebfd43020e965b8d22bc521c2249d1fbfd2

07243e6a3d7f5e3f373f6106121e0e78e0349ba1

480c2f6b8a998e83c2731c83322319410f6b9ee3

6e6f3ca91f6d7002877e35e55289d7ac6d05dcaf

4c502d87cd76e3fb9f9b995e5893e1336069e5f0

dd94beb6c96af165f62d6cc3f15d4c5203e9290e

737168f71d8c6d41ad0a1fc1c759911ccca97d04

215ad2a763b3f565bd6c4a5cf26f7c35ec337329

b1de556d9a616905065a3d72517277ac35fe5dbb

e57c5541758588d9ecf78ebe0e3391ca4178714c

9cf8326ff6c138dee15293b09eb1fdfede4b18b8

4e5d705f4e1b67035a28747c5690709635239228

0fa2fd726960ce2aaa40f884902006825487b8fa

相关文章
|
分布式计算 资源调度 监控
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
|
1月前
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作?
【10月更文挑战第18天】
|
2月前
|
存储 分布式计算 监控
Spark如何优化?需要注意哪些方面?
【10月更文挑战第10天】Spark如何优化?需要注意哪些方面?
41 6
|
2月前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
39 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
|
2月前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
42 0
|
4月前
|
分布式计算 资源调度 Shell
如何开始使用Spark框架?
【8月更文挑战第31天】如何开始使用Spark框架?
73 2
|
4月前
|
SQL 机器学习/深度学习 分布式计算
Spark框架
【8月更文挑战第31天】Spark框架
42 2
|
4月前
|
存储 分布式计算 供应链
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
|
4月前
|
分布式计算 并行计算 数据处理
|
4月前
|
大数据 RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
46 0