【Spark Summit EU 2016】没人会把Spark放在容器里

简介: 本讲义出自Jorg Schad在Spark Summit EU上的演讲,主要介绍了基于Mesos的开源的数据中心操作系统DC/OS,DC/OS可以用于处理容器和大数据。Jorg Schad还介绍了容器技术的相关内容,从容器技术的设计理念到容器技术与虚拟机技术的区别,以及容器技术控制组、命名空间等相关技术细节,在最后还讨论了Java与容器的关联。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Jorg Schad在Spark Summit EU上的演讲,主要介绍了基于Mesos的开源的数据中心操作系统DC/OS,DC/OS可以用于处理容器和大数据。Jorg Schad还介绍了容器技术的相关内容,从容器技术的设计理念到容器技术与虚拟机技术的区别,以及容器技术控制组、命名空间等相关技术细节,在最后还讨论了Java与容器的关联。


9d2ec82b2c809b43d9e6785f60fcac7bbe534dd5

2cd07ef04cd2d5f02234f919122ec27885d39d01

e228f4ae222466bddb0acd63eab890a6bbdbcdbc

3f470e3f9aa392996f9d3aa3914d4073a28d59f6

a9e41b1080bf6879458a2e222805f63eb0084c05

425a5ac99ce566079add432eccfc5d27e9074772

7ee69045545cf9c55614220855bd5b04ce12f112

979fdd74be5544243e810412bbb55c144ea9280a

5fb1ed78a4262c4c61128e22882efe7d12e4b54f

e670fbd3b564cc136a8152be19cad067c377b7bd

c97a29121de8a5b9909714e62f5c59cc737c1435

17f93ece7d3c204bc41ad637d66a0dc4ea685d15

35691c0e65a5620d202df0d1b7823b4cb05be087

9b80307c4e95733449f8b7c8b084940fb48e6fce

aa661b476e8dbce95a5d41f29b2f8b909f94e752

0a46fba556a1e3cfd75a62bcdebedfe2a0a36040

5abbb47ddf6aecf83fc74e57ed00990f9ed50cdf

508a1f77ebab8ef74013715b58ace1fffe168134

9042132c8e3d060d1aa0c3770e528b85ed6dcfcd

422609b8031d246b0b2770a85084529bcc001636

07131452f7c4022cb317ac9352d64ba310334333

6a0d7677f832b6920aa9c04ef8a56d02d5f8a587

7b8ea435452dd17ab66246c0a01d5f5301c6bfc0

04b1178ccb42af3ad88f70d24cc7333bd6b95d57

d3571ec846bf607f7ee0c4440d0d906dc1c006e3

759b74d359cd52ddedd44bd8ce6eb6af0da6aca6

61ba237bea70199d6f9d13f5e6117c0dfd28fac7

d272038362fa504a2cdfabfeb4ca49a486d3a7ed

99702d5ca9159c9a6f88bc316d32db558201f5d1

211672efa89b666ffc11acb9552be08c278dfea1

6ed1fb7307383131b144f4351e7b3eed309f077c

531788da4bacc9296b4093ac1cbee5fa4b45c8f0

c1aab12ec14eea89d4b657ff07819204f8d18d0b

7f5bc734001f97b0522de3ae28d07a4db7ba72ac

72d5c7ebc5851db668d69db3c9bc022ce55915f6

472fb13b96800d1728ce4be92729ed7825ca9420

20109a2e9856564602b77f352c22906ab375dd9a

a291e2d381823dc7b65751e4ddc32d475e018e25

5f22bae94e75c753c7996ae6a9f0ebb7d33d37ba

4a2d3dfc21636cf089423b5310bfa7966d572508

d749e8d8a682a69eb5777570a65d845a71418e2b

cf2a36627dfabcba1c4e3f7ca082101610807c86

88144e87cdd0e63167fb82cb6f54362b07678d7c

f862f9b1e430ef4c28fcc767aeb5e6afd50091a2

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
分布式计算 Kubernetes 监控
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
容器服务Kubernetes版,作为阿里云提供的核心服务之一,旨在帮助企业及开发者高效管理和运行Kubernetes集群,实现应用的容器化与微服务化。以下是关于使用这些服务的一些建议和合集,涵盖基本操作、最佳实践、以及一些高级功能的使用方法。
196 1
|
资源调度 分布式计算 Hadoop
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
Spark + AI Summit 2020 中文议题有奖征集
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
|
SQL 人工智能 缓存
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
在Spark + AI Summit 2020上, Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰,在性能上大幅超越 Presto。在过去几年,我们见过了太多的 benchmark,大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心,可谓及时雨。
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
|
机器学习/深度学习 人工智能 分布式计算
Spark + AI summit 2019北美技术峰会华丽落幕
本次SAIC含盖了数据工程与数据科学的内容,包括AI产品化的最佳实践案例分享:超大数据规模下,利用流数据处理确保训练数据更新的时效性,完成数据质量监控,测试以及数据模型服务。也有对流行的软件框架如TensorFlow,SciKit-Learn,Keras,PyTorch,DeepLearning4J,BigDL以及Deep Learning Pipelines等,分别进行深入的主题分享探讨。
|
8月前
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
421 0