AI 助理
备案控制台
开发者社区 云原生 容器服务 文章 正文

【Spark Summit East 2017】为容器优化Spark部署：隔离、安全与性能

2017-02-19 1902
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
容器镜像服务 ACR，镜像仓库100个 不限时长
容器服务 Serverless 版 ACK Serverless，952元额度 多规格
容器服务 Serverless 版 ACK Serverless，317元额度 多规格
简介： 本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。


a57b74a7762abaeeacec4c4267619975342eb251

927a459d65093bf86a034069a6ac053e4a57d7a3

2ba11f9ddbc89a9b2c14150d1762db3510cfcc52

8bb35262ba5e1ecdf9fcda40d0127de8da8e66c1

3848c46260fefb73ae9e44d94b3891c701e59748

d87afd2f0fbde564e3f2f339ccffbee7b39209b9

dfcbb89bd6e10d83cf57e6322dd5677bba808a1e

8cb771ffaddb46cee3425579cb419aeac06f3655

66ed18bc798fd1a02396e936a4e7cbc91f15d45e

da5acdf9c5174432c016a3f83fb5b35630032668

ad545f665c498b71c205c9d8c4d18a5f6f4dd682

fcaa90546065303efd69cfe98b76ca1f7d01a650

c8a2db798087ccbde8af07a1246dd111b45957d5

431485d3f09d63a95c1c6fafd0ac8765d7d7def0

58e53dcb44d8df84fab44346d6eae53ce55d8ff4

578ada2ca2738326510538e0dec45e04c5d2091b

77852c8df59e7950423390e0332e2e57a3e55ec7

99d9f5fbe525d1b516b959cbeac888c23a8a7787

7d37f718b1bfa6ceafea25556c88867f54e169bb

f98613df8c8b31c588eae230e291d3cf983b8e47

3a63f9b413e0070b2e70d94816bde85c2145baad

803ac9e5c0c1e80533038b1d52ac240b0a45c758

2eb7cf6b026f6cc7c4a5d47db483fc07561dff57

a76004c3c269665f0d955614d9c754518172ca8b

4821ed8f89409a3fd0cebac50d40509390edf720

72dc197298b8b48cedc12a5df952b91dde9c030f

310c7348c0b5028677b9f7c9941267942959191a

cfd35588ebc8f19192ab5920d9a7ded0ee52736c

3b86c5bdec3a2a39355669896dbc2584538e0899

271d1168fd9b46858f8f11e9fdf370305dcbedb8

6393cefff5e51509e7033aa7d2bc3c75ea3f34ed

a3afa27a3a75aaaf94dfc459dc8cf0c6cf4dc43b

39172cebb54d2c6d4f4be7ea103118cc58d11fd6

4a13ba0b23a5b0c4e611338bd6f1b1a814998207

2004a5cc2fafaf45bdcd9c5cf7a521ed0d798d13

e92b4980e749f519004c0cb74cef79e9b51cc678

文章标签：
Java
容器
Linux
安全
大数据
关键词：
容器部署
apache spark优化
apache spark部署
容器安全
容器性能
小猫吃鱼569
目录
相关文章
IT行业工程师
|
10天前
|
运维 开发者 Docker
Docker Compose：简化容器化应用的部署与管理
Docker Compose：简化容器化应用的部署与管理
IT行业工程师
37 2
人物我非-32022
|
17天前
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作？
【10月更文挑战第18天】
人物我非-32022
32 1
yuanzhengme
|
1月前
|
存储 分布式计算 监控
Spark如何优化？需要注意哪些方面？
【10月更文挑战第10天】Spark如何优化？需要注意哪些方面？
yuanzhengme
39 6
九月天空
|
10天前
|
前端开发 开发者 Docker
深入探索Docker Compose：简化多容器应用的部署
深入探索Docker Compose：简化多容器应用的部署
九月天空
35 0
武子康
|
1月前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
38 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
阿里云基础设施.
|
2月前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
针对软件供应链的攻击事件在以每年三位数的速度激增，其中三方或开源软件已经成为攻击者关注的重要目标，其攻击方式和技术也在不断演进。通过供应链的传播，一个底层软件包的漏洞的影响范围可以波及世界。企业亟需更加标准和完善的供应链风险洞察和防护机制。本文将结合最佳实践的形式，面向容器应用完整的生命周期展示如何基于容器服务ACK/ACR/ASM助力企业构建云原生软件供应链安全。
阿里云基础设施.
93 10
Star时光
|
1月前
|
运维 Kubernetes 监控
掌握Docker容器化技术：构建、部署与管理的高效实践
【10月更文挑战第14天】掌握Docker容器化技术：构建、部署与管理的高效实践
Star时光
39 0
qhhf_地道酬勤
|
2月前
|
NoSQL 关系型数据库 Redis
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
mall在linux环境下的部署（基于Docker容器），docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongodb、minio详细教程，拉取镜像、运行容器
qhhf_地道酬勤
499 3
mall在linux环境下的部署（基于Docker容器），Docker安装mysql、redis、nginx、rabbitmq、elasticsearch、logstash、kibana、mongo
尹正杰
|
2月前
|
Linux pouch 容器
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
关于如何在CentOS 7.6操作系统上安装和使用阿里巴巴开源的Pouch容器管理工具的实战教程。
尹正杰
121 2
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
武子康
|
1月前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
武子康
37 0
云原生

容器服务

热门文章

最新文章

  • 1
    Docker 镜像加速器
  • 2
    Docker CE 镜像源站
  • 3
    Minikube - Kubernetes本地实验环境
  • 4
    当 Kubernetes 遇到阿里云
  • 5
    谈谈 Docker Volume 之权限管理（一）
  • 6
    在阿里云容器服务上开发基于Docker的Spring Cloud微服务应用
  • 7
    Docker Engine 镜像源站
  • 8
    如何解决Docker容器和宿主机时间同步问题
  • 9
    阿里云容器服务-高可用Kubernetes部署指南
  • 10
    阿里云容器服务飞天敏捷版详解
  • 1
    【最新版正确姿势】Docker安装教程（简单几步即可完成）
    42
  • 2
    ​​国内 5 个最佳的控制面板，可轻松管理服务器
    41
  • 3
    【赵渝强老师】K8s的有状态控制器StatefulSet
    27
  • 4
    【赵渝强老师】K8s中Deployment控制器与StatefulSet控制器的区别
    27
  • 5
    【赵渝强老师】K8s的Job控制器多工作队列的并行方式
    16
  • 6
    【赵渝强老师】K8s的周期性任务控制器CronJob
    21
  • 7
    【赵渝强老师】K8s中Job控制器单工作队列的串行方式
    23
  • 8
    【赵渝强老师】K8s中的Deployment控制器
    20
  • 9
    【赵渝强老师】K8s的DaemonSet控制器
    23
  • 10
    【赵渝强老师】Kubernetes中的控制器
    24

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 使用阿里云容器服务和容器网络文件系统搭建WordPress网站
  • 容器管理命令
  • 容器的网络入门
  • 容器的自定义网络
  • 容器的共享网络模型
  • XXL-JOB零改造迁移
    • 下一篇
    阿里云OSS设置跨域访问