备案控制台
探索云世界
开发者社区 大数据 文章 正文

Spark Driver和Executor数据传递使用问题

2023-12-29 31
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Spark Driver和Executor数据传递使用问题

1.首先需要理解下Driver 和Executor的概念

Spark的driver理解和executor理解_driver stacktrace_三 丰的博客-CSDN博客

2.累加器

Spark共享变量(广播变量、累加器)_spark广播变量_SunnyRivers的博客-CSDN博客

3.广播变量

200MB以下才建议broadcast，太大的数据建议：两个DataFrame/rdd可以直接关联

Spark共享变量(广播变量、累加器)_spark广播变量_SunnyRivers的博客-CSDN博客

可以参考：

src/main/java/com/vince/xq/HdfsToRedis.java · 诸葛子房/spark-redis - Gitee.com

4.Executor端数据拉到Driver端

使用collect


文章标签：
分布式计算
Spark
Java
关键词：
apache spark数据
apache spark driver executor
apache spark driver
apache spark executor
诸葛子房
目录
相关文章
赵广陆
|
7月前
|
canal 分布式计算 关系型数据库
大数据Spark Streaming实时处理Canal同步binlog数据
大数据Spark Streaming实时处理Canal同步binlog数据
赵广陆
114 0
建模sister
|
2月前
|
SQL 分布式计算 API
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
建模sister
57 2
热烈的马
|
4月前
|
分布式计算 大数据 Apache
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
热烈的马
64 0
建模sister
|
1月前
|
SQL 分布式计算 Java
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
建模sister
107 1
sunrr
|
1月前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据，还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据，还支持算子下推吗
sunrr
107 2
晓之以理的喵~~
|
3月前
|
分布式计算 分布式数据库 API
Spark与HBase的集成与数据访问
Spark与HBase的集成与数据访问
晓之以理的喵~~
72 0
晓之以理的喵~~
|
3月前
|
JSON 分布式计算 关系型数据库
Spark中使用DataFrame进行数据转换和操作
Spark中使用DataFrame进行数据转换和操作
晓之以理的喵~~
117 0
晓之以理的喵~~
|
3月前
|
存储 分布式计算 调度
Spark任务调度与数据本地性
Spark任务调度与数据本地性
晓之以理的喵~~
31 0
Maynor
|
4月前
|
SQL 分布式计算 Apache
流数据湖平台Apache Paimon（六）集成Spark之DML插入数据
流数据湖平台Apache Paimon（六）集成Spark之DML插入数据
Maynor
85 0
Maynor
|
4月前
|
分布式计算 资源调度 大数据
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day30】——Spark数据调优(文末附完整文档)
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day30】——Spark数据调优(文末附完整文档)
Maynor
65 0

热门文章

最新文章

  • 1
    【Flink】Flink跟Spark Streaming的区别？
  • 2
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 3
    Paimon与Spark
  • 4
    Spark【环境搭建 01】spark-3.0.0-without 单机版（安装+配置+测试案例）
  • 5
    bigdata-36-Spark转换算子与动作算子
  • 6
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 7
    Spark 源码分析 -- BlockStore
  • 8
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 9
    地铁译：Spark for python developers --- 搭建Spark虚拟环境3
  • 10
    Spark RDD类源码阅读
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    107
  • 2
    安装Spark
    35
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    41
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    37
  • 5
    实战|使用Spark Streaming写入Hudi
    42
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    107
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    41
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    66
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    32
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    57

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）