Spark

首页 标签 Spark
# Spark #
关注
9201内容
|
3小时前
| |
Spark 核心之资源调度以及任务调度过程详解
本文以时间线梳理Spark两大调度:资源调度(6步)完成Executor启动,任务调度(7步)实现Task分发执行。全程结合源码与原创流程图,厘清spark-submit到Task运行的端到端机制,助你构建清晰调度心智模型。(239字)
|
9小时前
| |
Spark 核心之 Stage 和 Task 原理剖析
Spark中,Job由Action触发,DAGScheduler依Shuffle依赖切分为Stage:前序为ShuffleMapStage(生成中间文件),末尾为ResultStage(产出结果);每个Stage按分区数生成对应ShuffleMapTask或ResultTask。本文深度解析Stage划分、Task生成与序列化机制。(239字)
|
11小时前
| |
Spark 核心之 ClusterManager 原理剖析
本文深度解析 Spark 的 ClusterManager 抽象层:通过 ExternalClusterManager 接口与 ServiceLoader 机制,统一适配 Standalone/YARN/K8s 三大资源管理器。详解 Master URL 路由、源码实现对比及自定义扩展方法,揭示 Spark “调度不变、资源可插拔”的核心设计哲学。(239字)
|
2天前
| |
Scala循环与判断:一切皆表达式的控制流
本文详解Scala控制流的“表达式思维”:if、for、match、try等皆为有返回值的表达式,而非Java式的语句。通过对比Java命令式写法,揭示Scala如何用for推导式生成集合、用match替代switch、用Try处理异常,助Java开发者完成函数式思维跃迁。(239字)
|
2天前
| |
Spark 核心之 Application 和 Job 原理剖析
本文深入剖析Spark执行层级体系,厘清Application、Job、Stage、Task四层关系:1个Application可含多个Job(每个Action触发1个),Job按ShuffleDependency切分为Stage,Stage内Task数=分区数。结合源码链路、架构图与实战案例,助你彻底掌握Spark调度本质。(239字)
|
2天前
| |
Spark 核心之广播变量、累加器原理深度剖析
本文深度解析Spark两大分布式共享变量:**广播变量**(基于TorrentBroadcast的BitTorrent分块分发机制,实现大对象高效只读共享)与**累加器**(基于AccumulatorV2的copyAndReset→merge回传模型,支持跨任务零开销聚合统计),涵盖底层原理、源码剖析与避坑实践。(239字)
|
2天前
| |
Spark 核心之 YARN-Cluster 模式:原理、流程与源码级深度拆解
YARN-Cluster是Spark生产环境唯一推荐的部署模式:ApplicationMaster即Driver,SparkContext、DAGScheduler等全运行于AM Container中,实现资源隔离、去客户端化、HDFS本地性与AM重试容错。spark-submit提交后即可退出,全生命周期由YARN托管。(239字)
|
2天前
| |
Spark 核心之 Client 模式提交命令和特点分析
本文深度解析 Spark Client 模式核心——`spark-submit` 命令,涵盖命令全景、Standalone/YARN-Client 对比、六大参数详解、四种实战场景、参数优先级机制,并配原创架构图与可运行示例,助你彻底掌握 Driver 位置、资源分配与配置逻辑。(239字)
|
2天前
| |
Spark 核心之 Standalone-Cluster 模式:原理、流程与源码级深度拆解
本文深度解析Spark Standalone的Cluster模式:Driver由Master调度至Worker节点运行,spark-submit提交后即退出,实现生产环境“去客户端化”;详解11步启动流程、ClientApp短连接机制、supervise自动重启及架构设计,配原创图与源码分析。(239字)
|
2天前
| |
Spark 核心之 Executor 与线程池原理剖析
本文深度剖析 Spark Executor 内部机制:从 CoarseGrainedExecutorBackend 通信、固定大小线程池与 TaskRunner 执行流程,到 UnifiedMemoryManager 内存管理、BlockManager 存储体系,结合源码与架构图,带你透彻理解这一核心计算单元。(239字)
免费试用