Spark 核心之 Master 原理剖析

简介: Spark Master是Standalone集群的“指挥中心”,负责Worker注册与心跳、Driver/Executor资源调度(基于SpreadOutApps算法)、应用生命周期管理,并通过ZooKeeper实现主备选举与状态恢复,确保高可用。(239字)

摘要:Spark Master 是 Standalone 模式的"集群大脑"。它管理所有 Worker 的注册与心跳,调度 Driver 和 Application 的资源分配,通过 SpreadOutApps 算法确保负载均衡,借助 ZooKeeper 实现主备选举和状态恢复。本文从 Master 内部架构全景、核心数据结构、schedule() 调度引擎源码、Worker 生命周期管理、HA 高可用机制五个维度,配合 1 张原创深色架构图 + 完整源码分析,带你彻底看清 Master 的内部世界。

关键词:Spark Master, schedule(), Worker 管理, 资源调度, SpreadOutApps, HA, ZooKeeper, LeaderElection, PersistenceEngine


一、开篇:Master 是什么?

如果说 Driver 是单个应用的"大脑",那么 Master 就是整个 Standalone 集群的"指挥中心"。

职责 说明
Worker 管理 注册、心跳、超时检测、资源登记
资源调度 Driver 调度 + Application Executor 资源分配
应用生命周期 注册 → 排队 → 调度 → 完成 → 移除
HA 高可用 ZK 主备选举、状态持久化、故障自动切换

一句话定位:Master 不执行 Task,不做 DAG 解析——它只做一件事:谁需要资源、谁有资源、把资源分给谁。


二、Master 内部架构全景图

在这里插入图片描述

Master 四大核心模块

┌────────────────────────────────────────────┐
│                 Spark Master               │
│  ┌──────────────┐  ┌──────────────────┐    │
│  │ 核心数据结构   │  │  schedule() 引擎  │    │
│  │ workers: Set  │  │ SpreadOutApps    │    │
│  │ apps: Set     │  │ FIFO/FAIR 策略   │    │
│  │ drivers: Set  │  │ launchExecutor() │    │
│  └──────────────┘  └──────────────────┘    │
│  ┌──────────────┐  ┌──────────────────┐    │
│  │ RPC Endpoint  │  │   HA 高可用       │    │
│  │ RegisterWorker│  │ LeaderElection   │    │
│  │ RegisterApp   │  │ PersistenceEngine│    │
│  │ Heartbeat     │  │ 状态恢复          │    │
│  └──────────────┘  └──────────────────┘    │
└────────────────────────────────────────────┘

三、核心数据结构

// 源码:Master.scala
private[master] class Master(
    override val rpcEnv: RpcEnv,
    address: RpcAddress,
    webUiPort: Int,
    val securityMgr: SecurityManager,
    val conf: SparkConf)
  extends ThreadSafeRpcEndpoint {

  // === 核心数据结构 ===
  val workers = new HashSet[WorkerInfo]          // 已注册的 Worker
  val apps = new HashSet[ApplicationInfo]        // 运行中的应用
  val drivers = new HashSet[DriverInfo]          // 已提交的 Driver (Cluster 模式)

  // === 等待队列 ===
  val waitingApps = new ArrayBuffer[ApplicationInfo]   // 等待资源分配的应用
  val waitingDrivers = new ArrayBuffer[DriverInfo]     // 等待 Worker 的 Driver

  // === 已完成的应用(数量限制,用于 Web UI 展示)===
  private val completedApps = new ArrayBuffer[ApplicationInfo]
  private val completedDrivers = new ArrayBuffer[DriverInfo]
}
数据结构 类型 用途
workers HashSet 所有已注册的 Worker
apps HashSet 运行中的 Application
drivers HashSet Cluster 模式提交的 Driver
waitingApps ArrayBuffer 排队等待资源分配的应用
waitingDrivers ArrayBuffer 排队等待 Worker 的 Driver

四、schedule() 调度引擎 🔥

这是 Master 最核心的方法——每次状态变更都会触发调用。

// 源码:Master.scala - schedule() 核心逻辑
private def schedule(): Unit = {
  // Step 1: 先调度 Driver (Cluster 模式)
  for (driver <- waitingDrivers.toList) {
    val worker = workers.filter(_.state == WorkerState.ALIVE)
      .filter(canLaunchDriver(_, driver.desc)).headOption
    worker.foreach { w =>
      waitingDrivers -= driver
      w.endpoint.send(LaunchDriver(driver.id, driver.desc))
      driver.state = DriverState.RUNNING
    }
  }

  // Step 2: 再调度 Application (Executor 分配)
  startExecutorsOnWorkers()
}

4.1 SpreadOutApps 负载均衡算法

// 源码:startExecutorsOnWorkers()
private def startExecutorsOnWorkers(): Unit = {
  for (app <- waitingApps if app.coresLeft > 0) {
    val usableWorkers = workers.filter(_.state == WorkerState.ALIVE)
      .filter(canLaunchExecutor(_, app.desc))

    // SpreadOut: 尽可能将 Executor 分散到不同 Worker
    // 每个 Worker 分配尽可能少的 cores(最少 1 个 Executor)
    val numWorkers = usableWorkers.length
    var coresPerWorker = app.desc.maxCores.getOrElse(Int.MaxValue) / numWorkers
    if (coresPerWorker < 1) coresPerWorker = 1

    for (worker <- usableWorkers if app.coresLeft > 0) {
      val coresToUse = math.min(worker.coresFree, coresPerWorker)
      launchExecutor(worker, app, coresToUse)
    }
  }
}

SpreadOut 策略的优势:将任务分散到更多节点 → 更高的数据本地性命中率 → 减少 Shuffle 网络开销。


五、Worker 生命周期管理

Worker 启动 → RegisterWorker → Master 登记 → Heartbeat (每 15s)
                                         ↓
                                    超时未心跳?
                                   /         \
                                 NO           YES
                              继续运行     RemoveWorker
                                            ↓
                                        状态标记 DEAD
                                        waitingApps 重新排队
                                        apps 中的 Executor 失联
// Worker 心跳超时检测
case Heartbeat(workerId, worker) =>
  worker.lastHeartbeat = System.currentTimeMillis()
  // 15 秒超时检查在 checkForWorkerTimeOuts() 中

级联效应:Worker 宕机 → RemoveWorker → 释放的资源重新进入 schedule() → 其他 Worker 承接任务。


六、Master HA:ZooKeeper 主备选举

# 启动 HA Master 集群
# Master 1
./sbin/start-master.sh -h master-1 --webui-port 8080 \
  --conf spark.deploy.recoveryMode=ZOOKEEPER \
  --conf spark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181

# Master 2 (备)
./sbin/start-master.sh -h master-2 --webui-port 8080 \
  --conf spark.deploy.recoveryMode=ZOOKEEPER \
  --conf spark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181

6.1 选举机制

// 源码:ZooKeeperLeaderElectionAgent.scala
class ZooKeeperLeaderElectionAgent(val masterInstance: LeaderElectable,
    conf: SparkConf, securityMgr: SecurityManager, zkUrl: String)
  extends LeaderElectionAgent {

  // 在 ZK 创建临时顺序节点 /spark/leader_election/lock-0000000xxx
  // 序号最小的节点成为 Leader
  // Leader 宕机 → 临时节点自动删除 → 下一个最小序号成为新 Leader
}

6.2 状态持久化与恢复

// 恢复模式
sealed trait RecoveryMode
case object ZOOKEEPER extends RecoveryMode
case object FILESYSTEM extends RecoveryMode  // 本地文件系统
case object CUSTOM extends RecoveryMode      // 自定义实现
case object NONE extends RecoveryMode        // 无 HA

恢复流程:新 Leader 从持久化存储读取 → 恢复 workers/apps/drivers 状态 → 执行 schedule() 继续调度。


七、总结

要点 总结
定位 Master = 集群资源调度中心,不执行 Task/DAG
核心方法 schedule():Driver + Executor 资源分配
调度策略 SpreadOutApps 分散负载 + FIFO/FAIR 排队
数据结构 workers/apps/drivers/waitingApps/waitingDrivers
HA ZK 临时节点选举 + 持久化状态恢复

金句:如果 Driver 是单个应用的大脑,Master 就是整个集群的交管中心——它不跑车,但它决定哪辆车走哪条路。



作者:starzy | AI Data Engineer / 大数据技术实践者

博客:blog.starzy.cn | GitHub:starzy1990.github.io

专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践

目录
相关文章
|
30天前
|
弹性计算 缓存 网络协议
Docker Compose改了ports仍无效:核对生效配置并重建单个服务
本文详解Docker Compose端口变更常见误区:`restart`不生效因不重载`ports`配置。需用`config`确认预期配置,再通过`up -d --no-deps`重建服务以应用新端口(如8080→18080),避免误查旧容器。强调项目名、文件路径、上下文一致性及端口验证步骤。(239字)
|
30天前
|
分布式计算 资源调度 监控
Spark 核心之 Spark-WebUI 详解及日志查看
本文详解 Spark Web UI(4040端口)与 History Server(18080端口)的监控调优体系,涵盖 Jobs/Stages/Storage/Executors 等7大核心Tab指标解读、EventLog重放机制、log4j日志配置及YARN/K8s日志查看,并附架构图与命令速查表,助你高效排障与性能优化。(239字)
116 1
|
29天前
|
人工智能 移动开发 自然语言处理
千问办公QwenWork指南:介绍、能力、官网、使用、版本及价格说明
千问办公(QwenWork)是阿里巴巴推出的一站式AI Agent生产力平台,支持“对话即交付”:用户用自然语言描述需求,即可自动生成PPT、Excel、网页、报告等可落地成果;深度集成钉钉,覆盖多端,赋能个人与企业高效办公。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt
|
29天前
|
监控 Java 关系型数据库
SpringCloud Alibaba完整使用
SpringCloud Alibaba 微服务全栈实战教程,从零带你搭建 Nacos 注册配置中心、Gateway 网关、Sentinel 限流熔断、Seata 分布式事务、OpenFeign 远程调用等完整微服务组件。配套全套视频教程 + 保姆级搭建文档,手把手教你跑通微服务项目,适合在校生、转行及 1-3 年后端开发者学习练手、简历加分,文末可领学习资料与技术交流群。
|
29天前
|
弹性计算 人工智能 安全
真香啊!DeepSeek Harness保姆级教程:基于阿里云计算巢已部署安装Deepseek-Harness社区版
本方案介绍如何通过阿里云计算巢,一键部署开源智能体框架 DeepSeek Harness(基于 Cordis 引擎、“一切皆插件”架构),支持快速接入 DeepSeek/兼容大模型,构建专属 AI Agent 平台。阿里云计算巢官网:https://t.aliyun.com/U/PEl9rE
|
1月前
|
人工智能 安全 测试技术
Agent 也要被测试:如何评测一个 Agent 的 Skills?
本文探讨AI Agent中Skill评测的核心挑战与实践方法:指出Skill失效常表现为“行为漂移”而非报错;提出三层评测体系——静态校验(结构/安全/去重)、轨迹评估(步骤与序列合理性)、端到端配对测试(A/B对照测Skill Lift);强调需兼顾结果有效性、路径合理性、副作用与退化风险,并倡导将评测嵌入CI门禁,用最小可行方案启动防退化机制。
|
30天前
|
存储 缓存 安全
阿里云2核2G99元和2核4G199元云服务器活动,最长4年续费周期,个人建站首选
本文梳理阿里云99元经济型e实例(2核2G/3M/40G)与199元u1实例(2核4G/5M/80G)的适用场景、参与资格、续费规则与成本结构。二者面向个人开发者、学生、小微团队等入门上云用户,在活动延期至2029年3月31日的规则下,符合条件者经多次续费可接近4年低价持有。文章提醒用户关注配置一致性、续费窗口、保有数量与截止时间,并按项目生命周期选型,做好域名、备案、存储与备份等完整成本规划。
|
30天前
|
缓存 前端开发 程序员
DeepSeek-V4.1-Flash-1017 上手实测:3D 直出,效果到底如何
DeepSeek-V4.1-Flash-1017 上手实测:3D 飞行特斯拉、千里江山、折叠掌机一次直出,跑分 77%、最高档单任务 1.3 元
DeepSeek-V4.1-Flash-1017 上手实测:3D 直出,效果到底如何
|
29天前
|
弹性计算 网络安全 API
阿里云服务器199元1年购买与使用常见问题:2核4G5M带宽,续费同价,企业用户专享
阿里云企业专享轻量服务器:2核4G+5M带宽,仅199元/年!需企业实名认证,支持续费同价与专票。5M带宽(0.625MB/s)适合博客、API、管理系统等,搭配CDN更佳。含安全组配置、宝塔/Docker一键部署、快照备份及免费SSL指南,是初创团队高性价比之选。(239字)
235 0
|
29天前
|
人工智能 IDE 安全
开发者手册|阿里云Qoder CN指南:产品能力、用途、订阅收费全解析,免费300 Credits
Qoder CN是阿里云推出的国产AI智能体产品系列(原通义灵码),专注软件开发与办公场景。含IDE插件、CLI工具、Cloud Agents平台及数字员工等,支持自主编程、深度IDE集成与本地安全运行。注册即赠800次3.8-Max调用,个人版59元/月起。阿里云Qoder CN官网:https://t.aliyun.com/U/fEiOLV
284 0

热门文章

最新文章