AI 助理
备案控制台
开发者社区 阿里云开发者学堂 文章 正文

 Spark 宽窄依赖、DAG 的切割_1 | 学习笔记

2021-12-11 179
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 快速学习  Spark 宽窄依赖、DAG 的切割_1

开发者学堂课程【大数据实时计算框架  Spark  快速入门：  Spark  宽窄依赖、DAG  的切割_1】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/100/detail/1665


Spark  宽窄依赖、DAG  的切割_1    


内容介绍：

一、窄依赖和宽依赖的例子

二、图示


一、窄依赖和宽依赖的例子

（方框表示  RDD  ,实心矩形表示分区）

image.png


 

二、图示

整张图对应一个  Job  

image.png

 

文章标签：
流计算
分布式计算
Spark
大数据
开发者
关键词：
apache spark依赖
apache spark DAG
apache spark学习笔记
apache spark宽窄
apache spark依赖学习笔记
学堂小助手
目录
相关文章
wljslmz
|
28天前
|
分布式计算 资源调度 监控
什么是 Spark DAG？
【8月更文挑战第14天】
wljslmz
35 5
jjczqyjxgdegi
|
3月前
|
机器学习/深度学习 分布式计算 API
技术好文：Spark机器学习笔记一
技术好文：Spark机器学习笔记一
jjczqyjxgdegi
28 0
月亮给我抄代码
|
4月前
|
SQL 分布式计算 Java
IDEA 打包 Spark 项目 POM 文件依赖
这是一个 Maven POM 示例，用于构建一个使用 Spark 与 Hive 的项目，目标是将数据从 Hive 导入 ClickHouse。POM 文件设置了 Scala 和 Spark 的依赖，包括 `spark-core_2.12`, `spark-sql_2.12`, 和 `spark-hive_2.12`。`maven-assembly-plugin` 插件用于打包，生成包含依赖的和不含依赖的两种 JAR 包。`scope` 说明了依赖的使用范围，如 `compile`（默认），`provided`，`runtime`，`test` 和 `system`。
月亮给我抄代码
60 0
孙玉洁-47170
|
4月前
|
存储 缓存 分布式计算
Spark学习--day04、RDD依赖关系、RDD持久化、RDD分区器、RDD文件读取与保存
Spark学习--day04、RDD依赖关系、RDD持久化、RDD分区器、RDD文件读取与保存
孙玉洁-47170
71 1
Maynor
|
4月前
|
SQL 分布式计算 大数据
Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突
Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突
Maynor
203 0
星光下的赶路人
|
存储 缓存 分布式计算
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化（二）
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化（二）
星光下的赶路人
75 0
星光下的赶路人
|
存储 缓存 分布式计算
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化（一）
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化（一）
星光下的赶路人
87 0
q7s2kces74wvy
|
分布式计算 大数据 Spark
高级特性_闭包_Spark 闭包分发 | 学习笔记
快速学习 高级特性_闭包_Spark 闭包分发
q7s2kces74wvy
70 0
高级特性_闭包_Spark 闭包分发 | 学习笔记
q7s2kces74wvy
|
分布式计算 大数据 Spark
Spark 原理_总体介绍_物理执行图 | 学习笔记
快速学习 Spark 原理_总体介绍_物理执行图
q7s2kces74wvy
102 0
Spark 原理_总体介绍_物理执行图 | 学习笔记
q7s2kces74wvy
|
分布式计算 大数据 数据处理
Spark 原理_总体介绍_逻辑执行图 | 学习笔记
快速学习 Spark 原理_总体介绍_逻辑执行图
q7s2kces74wvy
112 0
Spark 原理_总体介绍_逻辑执行图 | 学习笔记

阿里云开发者学堂

热门文章

最新文章

  • 1
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 2
    9.24直播预告｜DLA Serverless Spark技术解析-让您的Spark弹起来
  • 3
    Spark Core概念学习系列之Spark Core（十四）
  • 4
    Spark-理解RDD
  • 5
    附录A Spark2.1核心工具类Utils
  • 6
    Mac安装Spark+Spark基本功能
  • 7
    Spark-ML-01-小试spark分析离线商品信息
  • 8
    Spark-神奇的共享变量
  • 9
    Spark shuffle详细过程
  • 10
    spark集群配置
  • 1
    如何解决Spark在深度学习中的资源消耗问题？
    61
  • 2
    Spark在深度学习中的优缺点是什么？
    125
  • 3
    使用Spark进行机器学习
    45
  • 4
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    84
  • 5
    【Spark】Spark基础教程知识点
    50
  • 6
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    98
  • 7
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    126
  • 8
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    50
  • 9
    数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
    560
  • 10
    [AIGC大数据基础] Spark 入门
    281

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    对象存储 OSS 如何创建 bucket|学习笔记