备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】SparkOscope:优化Spark的跨栈监控与可视化框架

2017-02-13 1883
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Yiannis Gkoufas在Spark Summit EU上的演讲，主要介绍了Spark监控框架的基本架构，并且对于Spark监控框架的扩展SparkOscope进行了详细地介绍，对于SparkOscope的架构基本原理以及基本安装方式等进行了介绍。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Yiannis Gkoufas在Spark Summit EU上的演讲，主要介绍了Spark监控框架的基本架构，并且对于Spark监控框架的扩展SparkOscope进行了详细地介绍，对于SparkOscope的架构基本原理以及基本安装方式等进行了介绍。


44a1c258d9eb5e1a2e4d18d3eca686e0639bccc3

839fd4d514ecca81e3262df6871f8898d3547764

200af88435cd292c8f213ec0ee0bbbfb2f409ea3

96c1952cd76be47a0e353351a9f4ba4fabfb7b54

07b53ebfd43020e965b8d22bc521c2249d1fbfd2

07243e6a3d7f5e3f373f6106121e0e78e0349ba1

480c2f6b8a998e83c2731c83322319410f6b9ee3

6e6f3ca91f6d7002877e35e55289d7ac6d05dcaf

4c502d87cd76e3fb9f9b995e5893e1336069e5f0

dd94beb6c96af165f62d6cc3f15d4c5203e9290e

737168f71d8c6d41ad0a1fc1c759911ccca97d04

215ad2a763b3f565bd6c4a5cf26f7c35ec337329

b1de556d9a616905065a3d72517277ac35fe5dbb

e57c5541758588d9ecf78ebe0e3391ca4178714c

9cf8326ff6c138dee15293b09eb1fdfede4b18b8

4e5d705f4e1b67035a28747c5690709635239228

0fa2fd726960ce2aaa40f884902006825487b8fa

文章标签：
监控
分布式计算
Spark
数据可视化
关键词：
apache spark监控
apache spark框架
apache spark可视化
apache spark优化
apache spark summit
小猫吃鱼569
目录
相关文章
赵广陆
|
7月前
|
SQL 分布式计算 大数据
大数据Spark框架概述
大数据Spark框架概述
赵广陆
159 0
明哥的IT随笔
|
6月前
|
分布式计算 资源调度 监控
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
明哥的IT随笔
54 0
大数据启示录
|
3月前
|
分布式计算 资源调度 监控
spark 监控梳理
spark 监控梳理
大数据启示录
72 0
spark 监控梳理
Maynor
|
4月前
|
分布式计算 Hadoop Java
Spark_Day01：Spark 框架概述和Spark 快速入门
Spark_Day01：Spark 框架概述和Spark 快速入门
Maynor
51 0
我是廖志伟
|
6月前
|
SQL 分布式计算 算法
【大数据处理框架】Spark大数据处理框架，包括其底层原理、架构、编程模型、生态圈
【大数据处理框架】Spark大数据处理框架，包括其底层原理、架构、编程模型、生态圈
我是廖志伟
219 0
embelfe_segge
|
8月前
|
消息中间件 SQL 分布式计算
Spark分布式计算框架之SparkStreaming+kafka
Spark分布式计算框架之SparkStreaming+kafka
embelfe_segge
78 0
张继群
|
SQL 存储 分布式计算
Storm与Spark、Hadoop三种框架对比
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。
张继群
392 0
Storm与Spark、Hadoop三种框架对比
故事未完·
|
9月前
|
消息中间件 SQL 分布式计算
Spark Streaming实时计算框架
Spark Streaming实时计算框架
故事未完·
201 0
Spark Streaming实时计算框架
冲冲冲冲
|
10月前
|
分布式计算 并行计算 Spark
Spark RDD分区优化
分区优化
冲冲冲冲
89 0
-开发达人-
|
11月前
|
分布式计算 算法 大数据
T-thinker | 继MapReduce, Apache Spark之后的下一代大数据并行编程框架
T-thinker | 继MapReduce, Apache Spark之后的下一代大数据并行编程框架
-开发达人-
107 0

热门文章

最新文章

  • 1
    Paimon 与 Spark 的集成（二）：查询优化
  • 2
    阿里云 EMR Serverless Spark 版免费邀测中
  • 3
    Paimon与Spark
  • 4
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 5
    bigdata-36-Spark转换算子与动作算子
  • 6
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 7
    sparkRDD 算子的创建和使用
  • 8
    Spark 源码分析 -- BlockStore
  • 9
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 10
    Spark RDD类源码阅读
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    76
  • 2
    安装Spark
    32
  • 3
    Spark环境搭建与使用
    33
  • 4
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    40
  • 5
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    39
  • 6
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    65
  • 7
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    30
  • 8
    Spark学习--day05、累加器
    16
  • 9
    Spark学习--day04、RDD依赖关系、RDD持久化、RDD分区器、RDD文件读取与保存
    39
  • 10
    Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
    41

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云oss简介和使用流程