Spark

首页 标签 Spark
# Spark #
关注
9202内容
|
3天前
| |
Spark 核心之 Executor 与线程池原理剖析
本文深度剖析 Spark Executor 内部机制:从 CoarseGrainedExecutorBackend 通信、固定大小线程池与 TaskRunner 执行流程,到 UnifiedMemoryManager 内存管理、BlockManager 存储体系,结合源码与架构图,带你透彻理解这一核心计算单元。(239字)
|
3天前
| |
Spark 核心之 Driver 原理剖析
本文深度解析Spark Driver——应用的“大脑”,涵盖SparkContext初始化、DAG/Task/SchedulerBackend三大调度器协作、SparkEnv七大核心组件及Driver全生命周期。结合原创架构图与源码级分析,助你透彻理解Driver内部运行机制。(239字)
|
3天前
| |
Spark 核心之 Stage 并行度划分及优化详解
本文深度解析 Spark 并行度调优核心:从并行度公式(Partition数=Task数)、三大来源路径,到 `spark.sql.shuffle.partitions` 与 `default.parallelism` 配置指南;详解数据倾斜三大解法(加盐、广播、AQE)、`repartition`/`coalesce` 差异及 AQE 自适应优化,附架构图、配置示例与真实案例,助你提升 CPU 利用率、消灭长尾任务。(239字)
|
3天前
| |
Spark 核心之 YARN-Client 模式:原理、流程与源码级深度拆解
本文深度解析 Spark on YARN 的核心部署模式——YARN-Client:Driver 运行于客户端,AM 退化为轻量级 ExecutorLauncher,专注向 ResourceManager 申请 Container 启动 Executor。涵盖 YARN 架构、AM 特性、12 步启动流程及与 Standalone 对比,配原创架构图与完整代码,助你彻底掌握生产环境首选模式。(239字)
|
4天前
| |
图解 Spark Standalone-Client 模式: 源码级深度拆解
本文深度解析 Spark Standalone-Client 模式,涵盖架构角色、启动流程、消息交互与任务调度四大维度,结合3张原创深色架构图及核心源码(如`RegisterApplication`、`CoarseGrainedExecutorBackend`反向注册),厘清Driver位置、Client/Cluster本质区别、Executor启动机制等高频面试与生产痛点,助你彻底掌握这一最常用却易被误解的部署模式。(239字)
|
4天前
| |
Spark凭什么叫板MapReduce?从演变历史到架构对比,一次说清代际更替
本文深度解析Spark如何以内存计算颠覆MapReduce:从2009年伯克利实验室诞生,到2014年GraySort基准测试以1/10机器、3倍速度破纪录;从RDD架构、DAG调度到Shuffle一次落盘 vs 三次I/O,揭示性能代际跃迁的本质。(239字)
|
4天前
| |
Spark Core 之 Spark 基于开发工具的详细配置讲解
本文详解 Spark 开发环境全链路配置:从 JDK 8、Scala 2.12 到 Spark 3.3、Maven 及 IDEA 集成,含可直接复用的生产级 pom.xml、WordCount 源码逐行解析、10 大高频错误排查、4 张原创架构图与四阶段学习路线,助 Java/大数据/AI 工程师快速上手。
|
4天前
| |
SparkCore 之 Spark 运行模式系统讲解
本文系统解析 Spark 五大运行模式(Local、Standalone、YARN、Kubernetes、Mesos),涵盖架构原理、spark-submit 配置、client/cluster 深度对比及选型决策树,附4张原创图解与实战模板,助力Java/大数据/AI工程师高效落地。
|
5天前
| |
SparkCore 之 Spark RDD 五大特性及弹性分布式容错原理剖析
本文深度解析 Spark RDD 五大核心特性(分区、计算、依赖、分区器、首选位置),图解 Lineage 血统机制、窄/宽依赖计算模型与 Checkpoint 容错策略,含4张原创架构图、源码对照及实战示例,助力Java/大数据/AI工程师掌握分布式计算本质。(239字)
|
5天前
| |
SparkCore 之 Spark Transformation 类算子详解
本文系统拆解Spark全部Transformation算子,按映射过滤、聚合排序、连接、分区调整、集合操作五大类详解,涵盖语法、窄/宽依赖、Shuffle机制、性能特征及实战场景,附原创架构图、25+算子速查表与Scala示例,助力大数据工程师高效开发。(239字)
免费试用