【Spark Summit East 2017】为容器优化Spark部署:隔离、安全与性能

简介: 本讲义出自William Benton在Spark Summit East 2017上的演讲,主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等,并介绍了对于容器化的Spark应用程序进行调优和编排,并分享了数据处理工作负载,以及代理的最佳实践和技巧等。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自William Benton在Spark Summit East 2017上的演讲,主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等,并介绍了对于容器化的Spark应用程序进行调优和编排,并分享了数据处理工作负载,以及代理的最佳实践和技巧等。


a57b74a7762abaeeacec4c4267619975342eb251

927a459d65093bf86a034069a6ac053e4a57d7a3

2ba11f9ddbc89a9b2c14150d1762db3510cfcc52

8bb35262ba5e1ecdf9fcda40d0127de8da8e66c1

3848c46260fefb73ae9e44d94b3891c701e59748

d87afd2f0fbde564e3f2f339ccffbee7b39209b9

dfcbb89bd6e10d83cf57e6322dd5677bba808a1e

8cb771ffaddb46cee3425579cb419aeac06f3655

66ed18bc798fd1a02396e936a4e7cbc91f15d45e

da5acdf9c5174432c016a3f83fb5b35630032668

ad545f665c498b71c205c9d8c4d18a5f6f4dd682

fcaa90546065303efd69cfe98b76ca1f7d01a650

c8a2db798087ccbde8af07a1246dd111b45957d5

431485d3f09d63a95c1c6fafd0ac8765d7d7def0

58e53dcb44d8df84fab44346d6eae53ce55d8ff4

578ada2ca2738326510538e0dec45e04c5d2091b

77852c8df59e7950423390e0332e2e57a3e55ec7

99d9f5fbe525d1b516b959cbeac888c23a8a7787

7d37f718b1bfa6ceafea25556c88867f54e169bb

f98613df8c8b31c588eae230e291d3cf983b8e47

3a63f9b413e0070b2e70d94816bde85c2145baad

803ac9e5c0c1e80533038b1d52ac240b0a45c758

2eb7cf6b026f6cc7c4a5d47db483fc07561dff57

a76004c3c269665f0d955614d9c754518172ca8b

4821ed8f89409a3fd0cebac50d40509390edf720

72dc197298b8b48cedc12a5df952b91dde9c030f

310c7348c0b5028677b9f7c9941267942959191a

cfd35588ebc8f19192ab5920d9a7ded0ee52736c

3b86c5bdec3a2a39355669896dbc2584538e0899

271d1168fd9b46858f8f11e9fdf370305dcbedb8

6393cefff5e51509e7033aa7d2bc3c75ea3f34ed

a3afa27a3a75aaaf94dfc459dc8cf0c6cf4dc43b

39172cebb54d2c6d4f4be7ea103118cc58d11fd6

4a13ba0b23a5b0c4e611338bd6f1b1a814998207

2004a5cc2fafaf45bdcd9c5cf7a521ed0d798d13

e92b4980e749f519004c0cb74cef79e9b51cc678

相关文章
|
9月前
|
消息中间件 分布式计算 监控
从InfluxDB到StarRocks:Grab实现Spark监控平台10倍性能提升
Grab 是东南亚领先的超级应用,其 Spark 可观测平台 Iris 核心存储迁移到 StarRocks 后性能显著提升。新架构统一了实时与历史数据分析,减少多平台切换复杂性,查询速度提升 10 倍以上,资源使用效率提高 40%。通过物化视图、动态分区和直接 Kafka 摄取数据等优化,简化数据管道并降低运维成本。未来 Grab 将进一步增强推荐系统、集成机器学习,持续优化用户体验与系统可扩展性。
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享,主要内容包括以下四个部分: 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
1753 0
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作?
【10月更文挑战第18天】
|
存储 分布式计算 监控
Spark如何优化?需要注意哪些方面?
【10月更文挑战第10天】Spark如何优化?需要注意哪些方面?
217 6
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
213 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
|
存储 分布式计算 供应链
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
Spark在供应链核算中应用问题之通过Spark UI进行任务优化如何解决
|
分布式计算 并行计算 数据处理
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
202 0
|
大数据 RDMA
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
神龙大数据加速引擎MRACC问题之MRACC-Spark利用eRDMA近网络优化插件来提升性能如何解决
511 0