【Spark Summit East 2017】从容器化Spark负载中获取的经验

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本讲义出自Tom Phelan在Spark Summit East 2017上的演讲,Tom Phelan探讨了如何实现高可用性的分布式大数据应用和数据中心主机,并分享了学到的经验教训,并对于如何在一个可靠的、可伸缩的、高性能的环境将大数据应用程序容器化给出了一些提示。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Tom Phelan在Spark Summit East 2017上的演讲,主要介绍了在Spark集群上部署分布式大数据应用程序面对的容器生命周期管理、智能调度优化资源利用率、网络配置和安全以以及性能等诸多挑战,Tom Phelan探讨了如何实现高可用性的分布式大数据应用和数据中心主机,并分享了学到的经验教训,并对于如何在一个可靠的、可伸缩的、高性能的环境将大数据应用程序容器化给出了一些提示。


aa086cfd0ca85e22e6b6969c9b8003bce38aef15

248293a9b2bda56d11d6f37a6622641241181e66

f55d68645e6405060b52082a7adc5f15f50b4b13

c555b163aedd01a122466b7dabeecc95ee142da0

8bb05e07aa3140916eefaa3b2e2ed001b489d0b7

9d39c8b27086e5d91e19c6bceca6749d1617fe30

d719024d8ef22d6b1d56b30e5711449796ace480

80763d94afc0ccbb9db9bc3959aed51e66cd4bee

6857f80a917cd3af91f86bcb2c18ba01a13b31b5

439e18c4e0af31fcde2b4722fec0c929d91d53ae

33aa13334a53ed382667fa05545732cbf26092e0

9a11b0995abf5c3915cd2a86287f11bdac162ca2

3c7612ef9e38bcfe8d1bb0320c00798f8d594bba

f267b29b2f1cfa9b4e6d279681fbbec3fbd17395

6a4be138295f16145920fced485ce5db89084e33

f112ec6f811a68bc603599d6b76867becb541dfa

63746de2d37e12e48d69b8e4d74a5acb74273f9e

21cd2662a3c54143e630b971c258589a6f19b0de

a6b62011cbb8a64662383ffc365fc90fe7d93bec

039aed429e310573af0b7a402e72efc4ea304dd7

2ccce4a6db5d5a3bb80f05e7b210897751fc351f

bc199e7ced4cd986c51f6995702fc3e97568da40

460d1087a9c38edbc986f6b9bfe01f2c9e747d35

7829dd43e1afe41dd0c5f5e96169e35ef4a09abf

8692d875744933841f5cc28413a3fde82408191b

e030239d553d331474c9f28b1d6a1f452b9cff25

712c88f2e5dd9bf05f7530e352cfae56af288025

54a3bded79095498339df82e2ca8c748e1289cd2

e011c6b5ab597c356ed208ca9e34cffb2f615593

a749436d96d3826740b0674aba54f96cbf7bd6f9

6f7a721488da4f0854167b2ca1f8154db53a615e

023a706ddb0197a0a0e3163d0667c209018f9142

790eec804049fcf4e2ebf42dde08fa9bb814aee6

ccc25750fea9aa3550f52f48f74e296c04016163

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
分布式计算 Kubernetes 监控
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
容器服务Kubernetes版,作为阿里云提供的核心服务之一,旨在帮助企业及开发者高效管理和运行Kubernetes集群,实现应用的容器化与微服务化。以下是关于使用这些服务的一些建议和合集,涵盖基本操作、最佳实践、以及一些高级功能的使用方法。
|
资源调度 分布式计算 Hadoop
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
|
弹性计算 Kubernetes Cloud Native
非容器应用与 K8s 工作负载服务网格化实践|学习笔记(二)
快速学习非容器应用与 K8s 工作负载服务网格化实践
非容器应用与 K8s 工作负载服务网格化实践|学习笔记(二)
|
弹性计算 Kubernetes 开发者
非容器应用与 k8s工作负载的服务网格化实践(二)|学习笔记
快速学习非容器应用与 k8s工作负载的服务网格化实践(二)
165 0
非容器应用与 k8s工作负载的服务网格化实践(二)|学习笔记
|
弹性计算 Kubernetes 监控
非容器应用与K8s工作负载的服务网格化实践|学习笔记
快速学习非容器应用与K8s工作负载的服务网格化实践
184 0
非容器应用与K8s工作负载的服务网格化实践|学习笔记
|
存储 运维 Kubernetes
Longhorn,企业级云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载(实验性功能)
Longhorn,企业级云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载(实验性功能)
473 0
|
Kubernetes Cloud Native 应用服务中间件
云原生容器实战(四)-Kubernetes工作负载资源之Deployment
云原生容器实战(四)-Kubernetes工作负载资源之Deployment
356 0
云原生容器实战(四)-Kubernetes工作负载资源之Deployment
|
Kubernetes Cloud Native Perl
云原生容器实战(三)-Kubernetes工作负载资源PodReplicaSet
云原生容器实战(三)-Kubernetes工作负载资源PodReplicaSet
121 0
云原生容器实战(三)-Kubernetes工作负载资源PodReplicaSet
|
Kubernetes Cloud Native 网络协议
非容器应用与K8s工作负载的服务网格化实践-7 基于ASM的POD和VM可观测性实践
服务网格的可观测性能力是通过Sidecar实现的,对于业务服务源代码来说是近零侵入的。可观测性包括数据采集、数据存储、数据展示和聚合分析。主要有三个维度:Metrics、Logging、Tracing,分别用于可聚合数据、离散事件、请求链路的可观测性。相应地,阿里云生态下,ASM打通了ARMS(https://www.aliyun.com/product/arms)、Log Service(https://www.aliyun.com/product/sls)、TracingAnalysis(https://www.aliyun.com/product/xtrace),供用户使用服务网格的可观
4043 0
|
弹性计算 负载均衡 Kubernetes
非容器应用与K8s工作负载的服务网格化实践-6 基于ASM的VM应用动态落迁实践
在完成了POD和VM之间互访验证后,本篇将进入VM中,重点关注两个常用的流量管理能力: - 应用通过标签进行分组 - 每个分组的多个副本可以动态落组和迁出
2660 0
非容器应用与K8s工作负载的服务网格化实践-6 基于ASM的VM应用动态落迁实践