AI 助理
备案控制台
开发者社区 云原生 容器服务 文章 正文

【Spark Summit East 2017】为容器优化Spark部署：隔离、安全与性能

2017-02-19 1906
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
容器镜像服务 ACR，镜像仓库100个 不限时长
简介： 本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。


a57b74a7762abaeeacec4c4267619975342eb251

927a459d65093bf86a034069a6ac053e4a57d7a3

2ba11f9ddbc89a9b2c14150d1762db3510cfcc52

8bb35262ba5e1ecdf9fcda40d0127de8da8e66c1

3848c46260fefb73ae9e44d94b3891c701e59748

d87afd2f0fbde564e3f2f339ccffbee7b39209b9

dfcbb89bd6e10d83cf57e6322dd5677bba808a1e

8cb771ffaddb46cee3425579cb419aeac06f3655

66ed18bc798fd1a02396e936a4e7cbc91f15d45e

da5acdf9c5174432c016a3f83fb5b35630032668

ad545f665c498b71c205c9d8c4d18a5f6f4dd682

fcaa90546065303efd69cfe98b76ca1f7d01a650

c8a2db798087ccbde8af07a1246dd111b45957d5

431485d3f09d63a95c1c6fafd0ac8765d7d7def0

58e53dcb44d8df84fab44346d6eae53ce55d8ff4

578ada2ca2738326510538e0dec45e04c5d2091b

77852c8df59e7950423390e0332e2e57a3e55ec7

99d9f5fbe525d1b516b959cbeac888c23a8a7787

7d37f718b1bfa6ceafea25556c88867f54e169bb

f98613df8c8b31c588eae230e291d3cf983b8e47

3a63f9b413e0070b2e70d94816bde85c2145baad

803ac9e5c0c1e80533038b1d52ac240b0a45c758

2eb7cf6b026f6cc7c4a5d47db483fc07561dff57

a76004c3c269665f0d955614d9c754518172ca8b

4821ed8f89409a3fd0cebac50d40509390edf720

72dc197298b8b48cedc12a5df952b91dde9c030f

310c7348c0b5028677b9f7c9941267942959191a

cfd35588ebc8f19192ab5920d9a7ded0ee52736c

3b86c5bdec3a2a39355669896dbc2584538e0899

271d1168fd9b46858f8f11e9fdf370305dcbedb8

6393cefff5e51509e7033aa7d2bc3c75ea3f34ed

a3afa27a3a75aaaf94dfc459dc8cf0c6cf4dc43b

39172cebb54d2c6d4f4be7ea103118cc58d11fd6

4a13ba0b23a5b0c4e611338bd6f1b1a814998207

2004a5cc2fafaf45bdcd9c5cf7a521ed0d798d13

e92b4980e749f519004c0cb74cef79e9b51cc678

文章标签：
Java
容器
Linux
安全
大数据
关键词：
容器安全
容器性能
容器优化
容器部署
apache spark优化
小猫吃鱼569
目录
相关文章
技术内容小助手
|
3天前
|
安全 虚拟化 异构计算
GPU安全容器面临的问题和挑战
本次分享由阿里云智能集团弹性计算高级技术专家李亮主讲，聚焦GPU安全容器面临的问题与挑战。内容分为五个部分：首先介绍GPU安全容器的背景及其优势；其次从安全、成本和性能三个维度探讨实践中遇到的问题及应对方案；最后分享GPU安全容器带状态迁移的技术路径与应用场景。在安全方面，重点解决GPU MMIO攻击问题；在成本上，优化虚拟化引入的内存开销；在性能上，提升P2P通信和GPU Direct的效率。带状态迁移则探讨了CRIU、Hibernate及VM迁移等技术的应用前景。
技术内容小助手
25 4
弹性计算-百晓生
|
22天前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
本文基于2024云栖大会演讲，探讨了软件供应链攻击的快速增长趋势及对企业安全的挑战。文中介绍了如何利用阿里云容器服务ACK、ACR和ASM构建云原生软件供应链安全，涵盖容器镜像的可信生产、管理和分发，以及服务网格ASM实现应用无感的零信任安全，确保企业在软件开发和部署过程中的安全性。
弹性计算-百晓生
64 18
龙大吉
|
1月前
|
存储 缓存 监控
Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
龙大吉
99 7
游客5fdji2pvmf8888
|
2月前
|
弹性计算 运维 开发者
后端架构优化：微服务与容器化的协同进化
在现代软件开发中，后端架构的优化是提高系统性能和可维护性的关键。本文探讨了微服务架构与容器化技术如何相辅相成，共同推动后端系统的高效运行。通过分析两者的优势和挑战，我们提出了一系列最佳实践策略，旨在帮助开发者构建更加灵活、可扩展的后端服务。
游客5fdji2pvmf8888
42 3
人物我非-32022
|
2月前
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作？
【10月更文挑战第18天】
人物我非-32022
100 1
yuanzhengme
|
3月前
|
存储 分布式计算 监控
Spark如何优化？需要注意哪些方面？
【10月更文挑战第10天】Spark如何优化？需要注意哪些方面？
yuanzhengme
50 6
武子康
|
3月前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
48 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
阿里云基础设施.
|
4月前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
针对软件供应链的攻击事件在以每年三位数的速度激增，其中三方或开源软件已经成为攻击者关注的重要目标，其攻击方式和技术也在不断演进。通过供应链的传播，一个底层软件包的漏洞的影响范围可以波及世界。企业亟需更加标准和完善的供应链风险洞察和防护机制。本文将结合最佳实践的形式，面向容器应用完整的生命周期展示如何基于容器服务ACK/ACR/ASM助力企业构建云原生软件供应链安全。
阿里云基础设施.
138 10
武子康
|
3月前
|
SQL 分布式计算 大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
武子康
55 0
thinkgamer.cn
|
分布式计算 资源调度 算法
Spark提交参数说明和常见优化
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 最近在搞一个价格分类模型，虽说是分类，用的是kmeans算法，求出聚类中心，对每个价格进行级别定级。
thinkgamer.cn
1325 0
云原生

容器服务

热门文章

最新文章

  • 1
    Docker 镜像加速器
  • 2
    Docker CE 镜像源站
  • 3
    Minikube - Kubernetes本地实验环境
  • 4
    Docker的Windows容器初体验
  • 5
    Docker学习路线图 (持续更新中)
  • 6
    谈谈 Docker Volume 之权限管理（一）
  • 7
    容器镜像服务 Docker镜像的基本使用
  • 8
    Docker Engine 镜像源站
  • 9
    阿里云容器服务-高可用Kubernetes部署指南
  • 10
    Docker日志收集新方案：log-pilot
  • 1
    容器服务：智算时代云原生操作系统及月之暗面Kimi、深势科技实践分享
    26
  • 2
    canal-starter 监听解析 storeValue 不一样，同样的sql 一个在mybatis执行 一个在数据库操作，导致解析不出正确对象
    49
  • 3
    【Docker最新版教程】一文带你快速入门Docker常见用法，实现容器编排和自动化部署上线项目
    259
  • 4
    【最新版正确姿势】Docker安装教程（简单几步即可完成）
    1725
  • 5
    ​​国内 5 个最佳的控制面板，可轻松管理服务器
    168
  • 6
    【赵渝强老师】K8s的有状态控制器StatefulSet
    86
  • 7
    【赵渝强老师】K8s中Deployment控制器与StatefulSet控制器的区别
    57
  • 8
    【赵渝强老师】K8s的Job控制器多工作队列的并行方式
    50
  • 9
    【赵渝强老师】K8s的周期性任务控制器CronJob
    58
  • 10
    【赵渝强老师】K8s中Job控制器单工作队列的串行方式
    54

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 容器中的volume卷
  • 容器的文件系统挂载
  • 容器的配置和存储
  • 容器DevSecOps全链路体验
  • 容器的自定义网络
  • 容器的共享网络模型
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月