AI 助理
文档备案控制台
开发者社区 云原生 容器服务 文章 正文

【Spark Summit East 2017】为容器优化Spark部署：隔离、安全与性能

2017-02-19 2093
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。


a57b74a7762abaeeacec4c4267619975342eb251

927a459d65093bf86a034069a6ac053e4a57d7a3

2ba11f9ddbc89a9b2c14150d1762db3510cfcc52

8bb35262ba5e1ecdf9fcda40d0127de8da8e66c1

3848c46260fefb73ae9e44d94b3891c701e59748

d87afd2f0fbde564e3f2f339ccffbee7b39209b9

dfcbb89bd6e10d83cf57e6322dd5677bba808a1e

8cb771ffaddb46cee3425579cb419aeac06f3655

66ed18bc798fd1a02396e936a4e7cbc91f15d45e

da5acdf9c5174432c016a3f83fb5b35630032668

ad545f665c498b71c205c9d8c4d18a5f6f4dd682

fcaa90546065303efd69cfe98b76ca1f7d01a650

c8a2db798087ccbde8af07a1246dd111b45957d5

431485d3f09d63a95c1c6fafd0ac8765d7d7def0

58e53dcb44d8df84fab44346d6eae53ce55d8ff4

578ada2ca2738326510538e0dec45e04c5d2091b

77852c8df59e7950423390e0332e2e57a3e55ec7

99d9f5fbe525d1b516b959cbeac888c23a8a7787

7d37f718b1bfa6ceafea25556c88867f54e169bb

f98613df8c8b31c588eae230e291d3cf983b8e47

3a63f9b413e0070b2e70d94816bde85c2145baad

803ac9e5c0c1e80533038b1d52ac240b0a45c758

2eb7cf6b026f6cc7c4a5d47db483fc07561dff57

a76004c3c269665f0d955614d9c754518172ca8b

4821ed8f89409a3fd0cebac50d40509390edf720

72dc197298b8b48cedc12a5df952b91dde9c030f

310c7348c0b5028677b9f7c9941267942959191a

cfd35588ebc8f19192ab5920d9a7ded0ee52736c

3b86c5bdec3a2a39355669896dbc2584538e0899

271d1168fd9b46858f8f11e9fdf370305dcbedb8

6393cefff5e51509e7033aa7d2bc3c75ea3f34ed

a3afa27a3a75aaaf94dfc459dc8cf0c6cf4dc43b

39172cebb54d2c6d4f4be7ea103118cc58d11fd6

4a13ba0b23a5b0c4e611338bd6f1b1a814998207

2004a5cc2fafaf45bdcd9c5cf7a521ed0d798d13

e92b4980e749f519004c0cb74cef79e9b51cc678

文章标签：
Java
容器
Linux
安全
大数据
关键词：
容器性能
容器部署
apache spark性能
apache spark优化
容器安全
小猫吃鱼569
目录
相关文章
john散漫
|
6月前
|
缓存 Java Docker
如何对应用代码进行优化以提高在Docker容器中的性能？
如何对应用代码进行优化以提高在Docker容器中的性能？
john散漫
352 1
游客u7dljxi6kiud6
|
8月前
|
消息中间件 分布式计算 监控
从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
Grab 是东南亚领先的超级应用，其 Spark 可观测平台 Iris 核心存储迁移到 StarRocks 后性能显著提升。新架构统一了实时与历史数据分析，减少多平台切换复杂性，查询速度提升 10 倍以上，资源使用效率提高 40%。通过物化视图、动态分区和直接 Kafka 摄取数据等优化，简化数据管道并降低运维成本。未来 Grab 将进一步增强推荐系统、集成机器学习，持续优化用户体验与系统可扩展性。
游客u7dljxi6kiud6
362 11
弹性计算-百晓生
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
本文基于2024云栖大会演讲，探讨了软件供应链攻击的快速增长趋势及对企业安全的挑战。文中介绍了如何利用阿里云容器服务ACK、ACR和ASM构建云原生软件供应链安全，涵盖容器镜像的可信生产、管理和分发，以及服务网格ASM实现应用无感的零信任安全，确保企业在软件开发和部署过程中的安全性。
弹性计算-百晓生
789 20
阿里云基础设施.
|
监控 安全 Cloud Native
阿里云容器服务&云安全中心团队荣获信通院“云原生安全标杆案例”奖
2024年12月24日，阿里云容器服务团队与云安全中心团队获得中国信息通信研究院「云原生安全标杆案例」奖。
阿里云基础设施.
423 5
技术内容小助手
|
安全 虚拟化 异构计算
GPU安全容器面临的问题和挑战
本次分享由阿里云智能集团弹性计算高级技术专家李亮主讲，聚焦GPU安全容器面临的问题与挑战。内容分为五个部分：首先介绍GPU安全容器的背景及其优势；其次从安全、成本和性能三个维度探讨实践中遇到的问题及应对方案；最后分享GPU安全容器带状态迁移的技术路径与应用场景。在安全方面，重点解决GPU MMIO攻击问题；在成本上，优化虚拟化引入的内存开销；在性能上，提升P2P通信和GPU Direct的效率。带状态迁移则探讨了CRIU、Hibernate及VM迁移等技术的应用前景。
技术内容小助手
455 4
龙大吉
|
存储 缓存 监控
Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
龙大吉
1256 7
游客5fdji2pvmf8888
|
弹性计算 运维 开发者
后端架构优化：微服务与容器化的协同进化
在现代软件开发中，后端架构的优化是提高系统性能和可维护性的关键。本文探讨了微服务架构与容器化技术如何相辅相成，共同推动后端系统的高效运行。通过分析两者的优势和挑战，我们提出了一系列最佳实践策略，旨在帮助开发者构建更加灵活、可扩展的后端服务。
游客5fdji2pvmf8888
224 3
阿里云基础设施.
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
针对软件供应链的攻击事件在以每年三位数的速度激增，其中三方或开源软件已经成为攻击者关注的重要目标，其攻击方式和技术也在不断演进。通过供应链的传播，一个底层软件包的漏洞的影响范围可以波及世界。企业亟需更加标准和完善的供应链风险洞察和防护机制。本文将结合最佳实践的形式，面向容器应用完整的生命周期展示如何基于容器服务ACK/ACR/ASM助力企业构建云原生软件供应链安全。
阿里云基础设施.
618 10
阿里云云原生
|
云安全 安全 Serverless
Serverless 安全新杀器：云安全中心护航容器安全
Serverless 安全防护能力除了支持目前既定的等保合规（漏洞扫描、入侵检测、基线检测等）、安全隔离的能力外还支持 WAF 防火墙、支持通信加密、操作审计、权限管控等能力，也正是有了这些能力的加持，SAE 才能很好的服务了金融、政企、医疗等行业的客户；Serverless（SAE）未来还计划规划更多安全能力为企业保驾护航，包括：代码安全扫描、加密、堡垒机、最小权限、身份与访问管理、以及更多的攻击防护等能力的建设。
阿里云云原生
798 1
thinkgamer.cn
|
分布式计算 资源调度 算法
Spark提交参数说明和常见优化
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 最近在搞一个价格分类模型，虽说是分类，用的是kmeans算法，求出聚类中心，对每个价格进行级别定级。
thinkgamer.cn
1421 0
云原生

容器服务

热门文章

最新文章

  • 1
    Docker CE 镜像源站
  • 2
    Minikube - Kubernetes本地实验环境
  • 3
    Docker的Windows容器初体验
  • 4
    Docker学习路线图 (持续更新中)
  • 5
    容器镜像服务 Docker镜像的基本使用
  • 6
    在阿里云容器服务上开发基于Docker的Spring Cloud微服务应用
  • 7
    阿里云容器服务飞天敏捷版详解
  • 8
    Kubernetes集群上基于Jenkins的CI/CD流程实践
  • 9
    基于Docker的应用负载均衡与服务发现
  • 10
    阿里云亮相2019云原生产业大会，积极共建云原生生态
  • 1
    Docker教程
    83
  • 2
    一文掌握pod亲和性及调度策略
    64
  • 3
    一文掌握k8s容器的资源限制
    89
  • 4
    一文掌握k8s容器的生命周期
    81
  • 5
    在 Kubernetes 中实现 NFS 动态存储供应：生产级实践指南
    103
  • 6
    一文掌握k8s的升级更新策略
    58
  • 7
    使用 ASM Hash Tagging 插件进行按比例灰度发布
    159
  • 8
    【k8s-1.34.2安装部署】九.k8s管理平台xkube安装部署
    188
  • 9
    【k8s-1.34.2安装部署】八.metric-server-0.8.0安装
    227
  • 10
    【k8s-1.34.2安装部署】七.coredns-v1.13.1安装
    178

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用