Spark 核心之 YARN-Cluster 模式:原理、流程与源码级深度拆解

简介: YARN-Cluster是Spark生产环境唯一推荐的部署模式:ApplicationMaster即Driver,SparkContext、DAGScheduler等全运行于AM Container中,实现资源隔离、去客户端化、HDFS本地性与AM重试容错。spark-submit提交后即可退出,全生命周期由YARN托管。(239字)

摘要:YARN-Cluster 是生产环境中 Spark 应用的终极部署方案。它的核心特征是——ApplicationMaster 不再只是资源代理,而是承担完整的 Driver 职责。SparkContext、DAGScheduler、TaskScheduler 全部运行在 AM Container 中,spark-submit 提交后可立即退出。本文从 AM=Driver 的设计哲学、12 步启动流程、四种模式终极对比、YARN 资源隔离四个维度,配合 2 张原创深色架构图 + 源码级分析,带你彻底吃透 YARN-Cluster 模式。

关键词:Spark on YARN, YARN-Cluster, ApplicationMaster, Driver on AM, ResourceManager, Container, HDFS 本地性, 生产环境


一、开篇:终极生产模式

经过前三篇文章的铺垫(Standalone-Client、Standalone-Cluster、YARN-Client),我们终于来到了 Spark 部署模式的终极形态——YARN-Cluster。

它融合了前面所有模式的优势:

YARN-Cluster = YARN-Client 的资源隔离       (Container 级别)
             + Standalone-Cluster 的去客户端化 (Driver 在集群内)
             + YARN Queue 多租户              (企业级)
             + HDFS 数据本地性                (零拷贝)

用一句话概括:

YARN-Cluster 是生产环境中唯一推荐的 Spark 部署模式。


二、YARN-Cluster 核心设计哲学:AM = Driver 🔥

这是 YARN-Cluster 与 YARN-Client 最本质的区别。

2.1 AM 角色的反转

模式 AM 的角色 是否包含 Driver
YARN-Client ExecutorLauncher(轻量代理) ❌ Driver 在客户端
YARN-Cluster 完整 Driver ✅ SparkContext + DAGScheduler 全在 AM 中
// 源码:ApplicationMaster.scala - 关键分支
def run(): Unit = {
  if (isClusterMode) {
    runDriver()           // 🔥 YARN-Cluster:AM 启动完整 Driver
  } else {
    runExecutorLauncher() // YARN-Client:AM 仅负责申请资源
  }
}

2.2 整体架构图

在这里插入图片描述

三条核心设计原则:

  1. AM Container 就是 Driver:SparkContext、DAGScheduler、TaskScheduler、SchedulerBackend 全部运行在 YARN Container 中,享有 Container 级别的资源隔离。

  2. spark-submit 是"甩手掌柜":提交完应用、确认 RM 收到后即可退出。后续一切由 AM(Driver) 自主管理。

  3. 全生命周期由 YARN 托管:Driver 故障 → RM 自动检测 → 可配置 AM 重试(yarn.resourcemanager.am.max-attempts)。


三、YARN-Cluster vs YARN-Client:一张表搞清

对比维度 YARN-Client YARN-Cluster
Driver 位置 提交客户端 JVM AM Container 内 🔑
AM 角色 ExecutorLauncher(轻量) 完整 Driver(重量)
spark-submit 必须全程存活 提交后可退出 🔑
日志查看 控制台 yarn logs -applicationId <appId>
适用场景 spark-shell / 交互式 / 调试 生产定时任务 / 大批量作业
网络要求 Driver ↔ Executor 互通 集群内部闭环
Driver HA ❌ ✅ AM 重试机制

四、YARN-Cluster 启动流程:12 步完整拆解 🔥

在这里插入图片描述

4.1 Phase 1-2:提交与 AM(Driver) 启动

Step 1-3: spark-submit → RM: SubmitApplication → RM 分配 appId → RM Scheduler 分配 AM Container → NM 分配资源并 fork AM JVM。

spark-submit \
  --master yarn \
  --deploy-mode cluster \      # 🔑 Cluster 模式
  --executor-memory 4G \
  --num-executors 8 \
  --conf spark.yarn.maxAppAttempts=2 \
  my-app.jar
# ← 提交完成后 spark-submit 可退出

Step 4: AM 启动时调用 runDriver()(而非 runExecutorLauncher()),在 Container 内初始化 SparkContext:

// ApplicationMaster.scala - runDriver()
private def runDriver(): Unit = {
  // 1. 在 AM Container 内启动用户 main 方法
  val mainMethod = userClassLoader.loadClass(args.mainClass)
                       .getMethod("main", classOf[Array[String]])
  // 2. 用户代码中的 new SparkContext() 将在 AM 中初始化
  // 3. 初始化完毕后,AM = 完整 Driver
  mainMethod.invoke(null, userArgs)
}

4.2 Phase 3-4:AM 心跳循环 + 启动 Executor

Step 5-6: AM 向 RM 发送 RegisterApplicationMaster → 进入心跳循环 allocate()/allocateResponse() → RM 分批返回 Container → AM 通过 NM 启动 Executor。

与 YARN-Client 的关键区别:AM(Driver) 直接知道 Executor 的分配情况,反向注册流程在集群内部闭环,无需经过客户端。

4.3 Phase 5-6:反向注册 → 任务执行 → 结束

Executor → AM(Driver): RegisterExecutor → Driver 确认 → LaunchTask → StatusUpdate → 应用结束 → KillExecutors → FinishApplicationMaster → RM 回收全部 Container。


五、四大部署模式终极对比 🏆

维度 Standalone Client Standalone Cluster YARN Client YARN Cluster
资源管理 Master Master RM RM
资源隔离 ❌ ❌ Container Container
多租户 ❌ ❌ ✅ Queue ✅ Queue
Driver 位置 客户端 Worker 客户端 AM Container
去客户端化 ❌ ✅ ❌ ✅
HDFS 亲和 ❌ ❌ ✅ ✅ 最优
Driver HA ❌ supervise ❌ AM 重试
生产推荐 ❌ 小规模 交互式 ⭐ 首选

六、生产环境最佳实践

6.1 关键配置

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --executor-memory 4G \
  --executor-cores 2 \
  --num-executors 10 \
  --driver-memory 2G \                 # AM(Driver) 内存
  --driver-cores 1 \                   # AM(Driver) 核心数
  --conf spark.yarn.am.memory=2G \     # 同上,显式指定
  --conf spark.yarn.am.cores=1 \
  --conf spark.yarn.maxAppAttempts=2 \ # AM 最大重试次数
  --conf spark.yarn.queue=production \ # 指定 YARN Queue
  --conf spark.eventLog.enabled=true \ # 日志聚合到 HDFS
  --conf spark.eventLog.dir=hdfs:///spark-logs \
  my-app.jar

6.2 常见故障排查

故障 1:AM 容器被 YARN Kill

Container [pid=xxx] is running beyond physical memory limits

解决:AM 内存 = Driver 内存 + overhead(约 10%)。增大 spark.yarn.am.memory 或在 yarn-site.xml 中调整 yarn.scheduler.maximum-allocation-mb。

故障 2:日志在哪?

# 查看应用日志
yarn logs -applicationId <appId>

# 查看 AM(Driver) 日志
yarn logs -applicationId <appId> -containerId <amContainerId>

# Web UI 查看
# http://rm-host:8088 → 应用详情 → Logs

故障 3:AM 重试次数耗尽

ApplicationMaster failed 2 times. Failing the application.

解决:增大 spark.yarn.maxAppAttempts 或排查 AM 失败根因(OOM、代码 Bug、资源不足)。


七、总结

要点 一句话总结
AM = Driver YARN-Cluster 的 AM 是完整 Driver,非轻量 Launcher
去客户端化 spark-submit 提交后可退出,Driver 在 YARN 中托管
资源隔离 AM + Executor 全部在 Container 中运行
生产首选 唯一推荐的生产部署模式
日志 yarn logs -applicationId <appId>

金句:如果说 YARN-Client 的 Driver 是你手中的风筝,那么 YARN-Cluster 的 Driver 就是放飞到云端的无人机——它完全自主飞行,而你的终端早已关闭。



作者:starzy | AI Data Engineer / 大数据技术实践者

博客:blog.starzy.cn | GitHub:starzy1990.github.io

专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践

目录
相关文章
|
28天前
|
分布式计算 资源调度 Kubernetes
SparkCore 之 Spark 运行模式系统讲解
本文系统解析 Spark 五大运行模式(Local、Standalone、YARN、Kubernetes、Mesos),涵盖架构原理、spark-submit 配置、client/cluster 深度对比及选型决策树,附4张原创图解与实战模板,助力Java/大数据/AI工程师高效落地。
116 0
|
14天前
|
SQL 人工智能 分布式计算
全托管 DuckDB 替代方案怎么选?EMR Serverless Spark 选型对比与湖仓实践方案
本文深入剖析了当数据规模突破单机极限时,EMR Serverless Spark 如何作为 DuckDB 的自然演进选择,支撑中大规模湖仓场景下的清洗建模、AI 融合分析与多引擎协同;通过对比 Databricks、Snowflake、BigQuery 等竞品,明确其以开放湖格式为底座、Serverless 批流一体计算为核心、深度集成 SQL-AI 函数的独特定位,并提供了从数据接入、特征工程到下游分析的三步落地实践路径。
|
24天前
|
弹性计算 分布式计算 NoSQL
2026年10月18日最新!阿里云TOP 10款热门服务器配置排行榜:含价格、带宽、适用场景全解析
截至2026年10月,阿里云发布TOP 10热门服务器配置榜,按“性价比+适用场景”分为入门、生产、进阶三档。涵盖轻量应用服务器与ECS,含价格、带宽、适用场景及选购避坑指南,助力个人开发者与企业高效选型。(239字)
190 0
|
3月前
|
分布式计算 关系型数据库 MySQL
Databricks 在阿里云上对应什么产品?AnalyticDB MySQL 湖仓版对标方案(含 DDI 停服说明)
Databricks 在阿里云上,当前推荐对标 AnalyticDB MySQL 湖仓版——湖仓一体、内置 Serverless Spark、开放表格式一套齐全。请注意曾经的 DDI 已停服,不再作为对标选项。迁移与能力细节可参考阿里云 AnalyticDB 官方文档。
170 0
|
26天前
|
缓存 算法 测试技术
Fast 模型层技术解析:把每个任务都交给最合适的模型
Qoder Fast 通过“任务识别+模型路由”实现智能选模:用 System One 快速分类任务(百毫秒级),按类型动态匹配最优模型,首次响应缩至3秒,Credits消耗降为0.8x。支持会话级复用、多轮协同与故障回退,已在全产品线上线。
189 0
|
19天前
|
人工智能 JSON 自然语言处理
LangChain 六大使用场景:哪些值得做,哪些不值得,一张决策图说清
本文系统梳理LangChain六大核心场景(RAG、Agent、对话系统、结构化提取、内容生成、多模态),逐项解析痛点、机制、落地要点与适用边界,并附“不该用”的反向清单。强调“模型+外部世界”协同才是框架价值所在,助力AI工程化理性选型。
359 0
|
4月前
|
人工智能 前端开发 Shell
loop 最佳实践:从 /goal 到 /loop,让 Agent 工作流循环起来
本文详解Coding Agent的四种核心循环模式:基于轮次(人工驱动)、目标导向(/goal)、时间触发(/loop与/schedule)及主动循环,强调Agent工程的关键在于明确“谁触发、何时停、如何验”,而非仅优化Prompt。
569 0
loop 最佳实践:从 /goal 到 /loop,让 Agent 工作流循环起来
|
存储 人工智能 关系型数据库
团队踩过的坑,能不能教给 Agent?阿里云 RDS ContextDB 让经验沉淀成知识资产
阿里云RDS推出ContextDB——面向AI Agent的企业级上下文数据库,解决知识分散、难维护、会话遗忘三大痛点。支持多模态数据接入、自动结构化记忆、AI推荐+人工确认的知识沉淀机制,具备长期记忆、智能检索、共享治理等五大能力,助力团队将个人经验持续转化为可复用的组织知识资产。
557 0
|
15天前
|
人工智能 中间件 Java
LangChain 到底是什么:从链式连接到 Agent 运行时,讲透 v1.0 的核心概念
LangChain 是大模型应用开发框架,非单纯API封装。v1.0聚焦Agent工程化:以`create_agent`为核心,基于LangGraph实现可持久化、可中断、可观测的智能体循环;统一模型接口、强化工具描述、分层记忆管理,并通过中间件支持人工介入、摘要压缩与隐私脱敏,推动AI从“能跑”走向“可靠生产”。(239字)
271 1
|
19天前
|
SQL 存储 分布式计算
一篇文章搞懂 Hive:从数仓定位到架构、表设计与数据倾斜治理
Hive是基于Hadoop的SQL数据仓库工具,不存数据、不算数据,仅作“胶水层”:元数据存MySQL,数据落HDFS,计算交YARN。支持内外表、分区/分桶、ORC/Parquet列存及丰富优化策略,专为海量离线分析而生,是企业级数仓十五年事实标准。(239字)
574 1

热门文章

最新文章