一道Spark练习题
2023-12-25
50
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
一道Spark练习题
目录
相关文章
|
7月前
|
SQL
分布式计算
Hadoop
|
7月前
|
7月前
|
分布式计算
Java
Hadoop
|
SQL
分布式计算
Java
|
分布式计算
大数据
Spark
|
存储
SQL
缓存
Spark面试题
spark的有几种部署模式，每种模式特点、Spark为什么比mapreduce快、简单说一下hadoop和spark的shuffle相同和差异、spark工作机制、spark的优化怎么做、数据本地性是在哪个环节确定的、RDD的弹性表现在哪几点、RDD有哪些缺陷、Spark的shuffle过程、 Spark的数据本地性有哪几种、Spark为什么要持久化，一般什么场景下要进行persist操作。
1238
0
2
|
SQL
分布式计算
资源调度
|
存储
SQL
分布式计算
|
SQL
存储
分布式计算
「Spark从精通到重新入门(二)」Spark中不可不知的动态资源分配
资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor，可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中，无论 Executor上是否有 task 在执行，都会被一直占有直到此 Spark 应用结束。
786
0
0
|
消息中间件
SQL
机器学习/深度学习
Spark面试题（二）
Spark有哪两种算子？、Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子、如何从Kafka中获取数据、RDD创建有哪几种方式？、Spark并行度怎么设置比较合、Spark如何处理不能被序列化的对、collect功能是什么，其底层是怎么实现的、为什么Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么什么问题发生、map与flatMap的区别、Spark on Mesos中，什么是的粗粒度分配，什么是细粒度分配，各自的优点和缺点是什么、driver的功能是什么等等以下有答案。
313
0
0