Spark 核心之 ClusterManager 原理剖析
本文深度解析 Spark 的 ClusterManager 抽象层:通过 ExternalClusterManager 接口与 ServiceLoader 机制,统一适配 Standalone/YARN/K8s 三大资源管理器。详解 Master URL 路由、源码实现对比及自定义扩展方法,揭示 Spark “调度不变、资源可插拔”的核心设计哲学。(239字)
Spark 核心之 YARN-Cluster 模式:原理、流程与源码级深度拆解
YARN-Cluster是Spark生产环境唯一推荐的部署模式:ApplicationMaster即Driver,SparkContext、DAGScheduler等全运行于AM Container中,实现资源隔离、去客户端化、HDFS本地性与AM重试容错。spark-submit提交后即可退出,全生命周期由YARN托管。(239字)
Spark 核心之 Client 模式提交命令和特点分析
本文深度解析 Spark Client 模式核心——`spark-submit` 命令,涵盖命令全景、Standalone/YARN-Client 对比、六大参数详解、四种实战场景、参数优先级机制,并配原创架构图与可运行示例,助你彻底掌握 Driver 位置、资源分配与配置逻辑。(239字)
Spark 核心之 YARN-Client 模式:原理、流程与源码级深度拆解
本文深度解析 Spark on YARN 的核心部署模式——YARN-Client:Driver 运行于客户端,AM 退化为轻量级 ExecutorLauncher,专注向 ResourceManager 申请 Container 启动 Executor。涵盖 YARN 架构、AM 特性、12 步启动流程及与 Standalone 对比,配原创架构图与完整代码,助你彻底掌握生产环境首选模式。(239字)
Spark Core 之 Spark 基于开发工具的详细配置讲解
本文详解 Spark 开发环境全链路配置:从 JDK 8、Scala 2.12 到 Spark 3.3、Maven 及 IDEA 集成,含可直接复用的生产级 pom.xml、WordCount 源码逐行解析、10 大高频错误排查、4 张原创架构图与四阶段学习路线,助 Java/大数据/AI 工程师快速上手。
SparkCore 之 Spark 运行模式系统讲解
本文系统解析 Spark 五大运行模式(Local、Standalone、YARN、Kubernetes、Mesos),涵盖架构原理、spark-submit 配置、client/cluster 深度对比及选型决策树,附4张原创图解与实战模板,助力Java/大数据/AI工程师高效落地。