视频介绍
以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？
Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。
讲师介绍
何剑，阿里巴巴高级技术专家，专注于Kubernetes容器云和大数据底层调度以及基础架构，负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
JindoFS: 云上大数据的高性能数据湖存储方案16374
-
JindoFS解析 - 云上大数据高性能数据湖存储方案14704
-
阿里封神-大数据处理技术漫谈11851
-
JindoFS概述：云原生的大数据计算存储分离方案23132
-
5W1H(六何分析法)全景洞察大数据11106
-
钉钉群直播【Spark Relational Cache 原理和实践】8962
-
HAS-插件式Kerberos认证框架8557
-
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake8710
-
YARN中的CPU资源隔离-CGroups9775
-
使用Ranger对Hive数据进行脱敏8511
展开全部
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？522
-
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？2042
-
大佬，可以请教下，有没有遇到 com.aliyun.oss1186
-
阿里云E-MapReduce notebook 大概什么时候会正式上线？277
-
Mem usage has exceed the limit of BE - com.mysql.j1458
-
EMR StarRocks有hive或spark的炸裂函数，类似explode可以用吗?684
-
starrocks压缩 比是多少呀？599
-
阿里云E-MapReduce中starrocks 2.4的mysql外部表哪个字段类型，映射不上吗？210
-
sqoop，任务日志刷新到这里，就一直卡住了，也没有提交到yarn，请问大神这个是什么情况？该怎么排666
-
sprak是什么708
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅
相关文章
更多
大数据之Yarn——Capacity调度器概念以及配置
Spark通过YARN提交任务不成功（包含YARN cluster和YARN client)
从源码角度看Spark on yarn client & cluster模式的本质区别
读书笔记：Apache Hadoop YARN: Yet Anothe Resource Negotiator
Mapreduce和Yarn概念，参数优化，作用，原理，MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo
技术干货：YARN基本设计思想
[YARN] 2.2 GB of 2.1 GB virtual memory used. Killing container.
Hadoop YARN学习之核心概念（2）
yarn架构 及 client提交任务过程讲解