【Spark Summit EU 2016】没人会把Spark放在容器里

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 本讲义出自Jorg Schad在Spark Summit EU上的演讲,主要介绍了基于Mesos的开源的数据中心操作系统DC/OS,DC/OS可以用于处理容器和大数据。Jorg Schad还介绍了容器技术的相关内容,从容器技术的设计理念到容器技术与虚拟机技术的区别,以及容器技术控制组、命名空间等相关技术细节,在最后还讨论了Java与容器的关联。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Jorg Schad在Spark Summit EU上的演讲,主要介绍了基于Mesos的开源的数据中心操作系统DC/OS,DC/OS可以用于处理容器和大数据。Jorg Schad还介绍了容器技术的相关内容,从容器技术的设计理念到容器技术与虚拟机技术的区别,以及容器技术控制组、命名空间等相关技术细节,在最后还讨论了Java与容器的关联。


9d2ec82b2c809b43d9e6785f60fcac7bbe534dd5

2cd07ef04cd2d5f02234f919122ec27885d39d01

e228f4ae222466bddb0acd63eab890a6bbdbcdbc

3f470e3f9aa392996f9d3aa3914d4073a28d59f6

a9e41b1080bf6879458a2e222805f63eb0084c05

425a5ac99ce566079add432eccfc5d27e9074772

7ee69045545cf9c55614220855bd5b04ce12f112

979fdd74be5544243e810412bbb55c144ea9280a

5fb1ed78a4262c4c61128e22882efe7d12e4b54f

e670fbd3b564cc136a8152be19cad067c377b7bd

c97a29121de8a5b9909714e62f5c59cc737c1435

17f93ece7d3c204bc41ad637d66a0dc4ea685d15

35691c0e65a5620d202df0d1b7823b4cb05be087

9b80307c4e95733449f8b7c8b084940fb48e6fce

aa661b476e8dbce95a5d41f29b2f8b909f94e752

0a46fba556a1e3cfd75a62bcdebedfe2a0a36040

5abbb47ddf6aecf83fc74e57ed00990f9ed50cdf

508a1f77ebab8ef74013715b58ace1fffe168134

9042132c8e3d060d1aa0c3770e528b85ed6dcfcd

422609b8031d246b0b2770a85084529bcc001636

07131452f7c4022cb317ac9352d64ba310334333

6a0d7677f832b6920aa9c04ef8a56d02d5f8a587

7b8ea435452dd17ab66246c0a01d5f5301c6bfc0

04b1178ccb42af3ad88f70d24cc7333bd6b95d57

d3571ec846bf607f7ee0c4440d0d906dc1c006e3

759b74d359cd52ddedd44bd8ce6eb6af0da6aca6

61ba237bea70199d6f9d13f5e6117c0dfd28fac7

d272038362fa504a2cdfabfeb4ca49a486d3a7ed

99702d5ca9159c9a6f88bc316d32db558201f5d1

211672efa89b666ffc11acb9552be08c278dfea1

6ed1fb7307383131b144f4351e7b3eed309f077c

531788da4bacc9296b4093ac1cbee5fa4b45c8f0

c1aab12ec14eea89d4b657ff07819204f8d18d0b

7f5bc734001f97b0522de3ae28d07a4db7ba72ac

72d5c7ebc5851db668d69db3c9bc022ce55915f6

472fb13b96800d1728ce4be92729ed7825ca9420

20109a2e9856564602b77f352c22906ab375dd9a

a291e2d381823dc7b65751e4ddc32d475e018e25

5f22bae94e75c753c7996ae6a9f0ebb7d33d37ba

4a2d3dfc21636cf089423b5310bfa7966d572508

d749e8d8a682a69eb5777570a65d845a71418e2b

cf2a36627dfabcba1c4e3f7ca082101610807c86

88144e87cdd0e63167fb82cb6f54362b07678d7c

f862f9b1e430ef4c28fcc767aeb5e6afd50091a2

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
分布式计算 Kubernetes 监控
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
容器服务Kubernetes版,作为阿里云提供的核心服务之一,旨在帮助企业及开发者高效管理和运行Kubernetes集群,实现应用的容器化与微服务化。以下是关于使用这些服务的一些建议和合集,涵盖基本操作、最佳实践、以及一些高级功能的使用方法。
|
资源调度 分布式计算 Hadoop
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
Spark + AI Summit 2020 中文议题有奖征集
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
|
SQL 人工智能 缓存
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
在Spark + AI Summit 2020上, Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰,在性能上大幅超越 Presto。在过去几年,我们见过了太多的 benchmark,大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心,可谓及时雨。
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
|
机器学习/深度学习 人工智能 分布式计算
Spark + AI summit 2019北美技术峰会华丽落幕
本次SAIC含盖了数据工程与数据科学的内容,包括AI产品化的最佳实践案例分享:超大数据规模下,利用流数据处理确保训练数据更新的时效性,完成数据质量监控,测试以及数据模型服务。也有对流行的软件框架如TensorFlow,SciKit-Learn,Keras,PyTorch,DeepLearning4J,BigDL以及Deep Learning Pipelines等,分别进行深入的主题分享探讨。
|
27天前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
80 2
ClickHouse与大数据生态集成:Spark & Flink 实战