Spark 核心之 Client 模式提交命令和特点分析

简介: 本文深度解析 Spark Client 模式核心——`spark-submit` 命令,涵盖命令全景、Standalone/YARN-Client 对比、六大参数详解、四种实战场景、参数优先级机制,并配原创架构图与可运行示例,助你彻底掌握 Driver 位置、资源分配与配置逻辑。(239字)

摘要:spark-submit 是用 Spark 的第一道门槛。一条命令背后隐藏着 Driver 位置、资源分配策略、参数优先级、Standalone vs YARN 差异等大量关键决策。本文从 spark-submit 命令结构全景、Standalone-Client 与 YARN-Client 命令对比、六大核心参数详解、四种 Client 模式场景模板、参数优先级机制五个维度,配合 1 张原创深色架构图和完整可运行示例,让你彻底掌握 Spark Client 模式的提交命令。

关键词:spark-submit, Client 模式, Standalone-Client, YARN-Client, --master, --deploy-mode, 参数体系, Driver 配置


一、开篇:你会写 spark-submit 吗?

先看一道面试题:

下面两条命令分别启动了哪种部署模式?Driver 运行在哪里?区别是什么?

# 命令 A
spark-submit --master spark://master:7077 --deploy-mode client app.jar

# 命令 B
spark-submit --master yarn --deploy-mode client app.jar

如果你能准确回答——说明你对 Spark 部署模式的参数体系已经有了系统理解。如果你犹豫了——这篇文章将帮你彻底理清 Client 模式的所有提交命令和参数。


二、spark-submit 命令全景图

在这里插入图片描述

2.1 通用命令结构

spark-submit [通用选项] [应用选项] [配置选项] <app-jar | python-file | R-file> [app-args]

每个选项组的作用:

选项组 前缀 核心参数 示例
通用选项 --master --deploy-mode 集群地址、部署模式 --master yarn
应用选项 --class --name --jars 主类、应用名、依赖 --class com.example.Main
Driver 配置 --driver-* Driver 内存、核心数 --driver-memory 2G
Executor 配置 --executor-* --num-executors Executor 资源 --executor-memory 4G
动态配置 --conf k=v 任意 Spark 配置 --conf spark.sql.shuffle.partitions=200

2.2 --master 决定了资源管理器

# Standalone
--master spark://master:7077

# YARN
--master yarn

# YARN HA(多个 RM)
--master yarn --conf spark.yarn.ha.enabled=true

# 本地测试
--master local[4]

2.3 --deploy-mode client 决定 Driver 位置

Client 模式的核心语义:Driver 在提交客户端 JVM 中运行。

# 显式指定(推荐)
--deploy-mode client

# 省略时的默认值(取决于 --master)
# --master spark://...     → 默认 client
# --master yarn             → 默认 client
# --master local[...]       → 始终 client

三、Standalone-Client 提交命令

3.1 完整模板

spark-submit \
  --master spark://master-node:7077 \
  --deploy-mode client \
  --class com.example.SparkApp \
  --name "my-standalone-client-app" \
  --driver-memory 2G \
  --driver-cores 2 \
  --executor-memory 4G \
  --executor-cores 2 \
  --total-executor-cores 8 \
  --conf spark.driver.port=4040 \
  --conf spark.driver.host=192.168.1.100 \
  --conf spark.default.parallelism=16 \
  --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
  /path/to/my-app.jar \
  arg1 arg2

3.2 Standalone-Client 特有参数

参数 说明 默认值
--total-executor-cores 总核心数(Standalone 特有) 所有 Worker 可用核心
--executor-cores 每个 Executor 核心数 1
--driver-cores Driver 核心数(本地 JVM) 1

注意:Standalone 没有 --num-executors——Executor 数量由 --total-executor-cores / --executor-cores 自动计算。

3.3 spark-shell(交互式 Client)

# spark-shell 默认就是 Standalone-Client 模式
spark-shell \
  --master spark://master:7077 \
  --executor-memory 4G \
  --total-executor-cores 8
# 等价于 --deploy-mode client(默认值)

四、YARN-Client 提交命令

4.1 完整模板

spark-submit \
  --master yarn \
  --deploy-mode client \
  --class com.example.SparkApp \
  --name "my-yarn-client-app" \
  --driver-memory 2G \
  --executor-memory 4G \
  --executor-cores 2 \
  --num-executors 8 \
  --conf spark.yarn.am.memory=1G \
  --conf spark.yarn.am.cores=1 \
  --conf spark.yarn.queue=default \
  --conf spark.yarn.maxAppAttempts=2 \
  --conf spark.eventLog.enabled=true \
  --conf spark.eventLog.dir=hdfs:///spark-logs \
  /path/to/my-app.jar

4.2 YARN-Client 特有参数

参数 说明 默认值
--num-executors 固定 Executor 数量 2
spark.yarn.am.memory AM(ExecutorLauncher) 内存 1G
spark.yarn.am.cores AM 核心数 1
spark.yarn.queue YARN 队列 default
spark.yarn.maxAppAttempts AM 最大重试次数 2

4.3 spark-shell on YARN

spark-shell \
  --master yarn \
  --deploy-mode client \
  --executor-memory 4G \
  --num-executors 8

五、Standalone-Client vs YARN-Client 命令差异速记

# ======== Standalone-Client ========
spark-submit \
  --master spark://master:7077 \
  --deploy-mode client \
  --total-executor-cores 8 \          # ← 总核心数控制并行度
  --executor-memory 4G \
  app.jar

# ======== YARN-Client ========
spark-submit \
  --master yarn \
  --deploy-mode client \
  --num-executors 8 \                 # ← 固定 Executor 数量
  --executor-memory 4G \
  --conf spark.yarn.queue=default \   # ← YARN 专属
  app.jar
维度 Standalone-Client YARN-Client
资源指定 --total-executor-cores --num-executors
Master 地址 spark://host:7077 yarn
队列管理 无 spark.yarn.queue
AM 配置 无 spark.yarn.am.*
日志聚合 无 HDFS 事件日志

六、参数优先级机制

Spark 参数有三层来源,优先级从高到低:

优先级:--conf k=v  >  --<parameter>  >  spark-defaults.conf  >  代码中的 set()
       (命令行最高)  (专用选项)      (配置文件)           (代码最低)

相同参数冲突时,后指定的覆盖前指定的:

# --executor-memory 最终为 8G(后指定的生效)
spark-submit \
  --executor-memory 4G \
  --executor-memory 8G \
  app.jar

七、四种 Client 模式实战场景

场景 1:本地开发调试

spark-submit \
  --master local[4] \
  --driver-memory 2G \
  my-app.jar

场景 2:Standalone 集群交互分析

spark-shell \
  --master spark://master:7077 \
  --executor-memory 8G \
  --total-executor-cores 16

场景 3:YARN 集群生产级提交

spark-submit \
  --master yarn \
  --deploy-mode client \
  --driver-memory 4G \
  --executor-memory 8G \
  --executor-cores 4 \
  --num-executors 20 \
  --conf spark.yarn.queue=production \
  --conf spark.sql.shuffle.partitions=400 \
  etl-job.jar 2025-01-01

场景 4:Python PySpark on YARN

spark-submit \
  --master yarn \
  --deploy-mode client \
  --executor-memory 4G \
  --num-executors 8 \
  --conf spark.pyspark.python=/usr/bin/python3 \
  my-ml-pipeline.py --input hdfs:///data/raw

八、总结

要点 一句话总结
命令结构 spark-submit [通用] [应用] [配置] <jar>
--master 决定资源管理器:spark:// vs yarn vs local
--deploy-mode Client = Driver 在提交客户端
资源参数 Standalone 用 --total-executor-cores,YARN 用 --num-executors
优先级 --conf > --param > spark-defaults.conf > 代码

金句:掌握 spark-submit 命令不是目的——通过命令理解 Driver 在哪、资源如何分配、参数如何覆盖,才是工程师的竞争力所在。



作者:starzy | AI Data Engineer / 大数据技术实践者

博客:blog.starzy.cn | GitHub:starzy1990.github.io

专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践

目录
相关文章
|
17天前
|
人工智能 JSON 自然语言处理
LangChain 六大使用场景:哪些值得做,哪些不值得,一张决策图说清
本文系统梳理LangChain六大核心场景(RAG、Agent、对话系统、结构化提取、内容生成、多模态),逐项解析痛点、机制、落地要点与适用边界,并附“不该用”的反向清单。强调“模型+外部世界”协同才是框架价值所在,助力AI工程化理性选型。
344 0
|
14天前
|
人工智能 中间件 Java
LangChain 到底是什么:从链式连接到 Agent 运行时,讲透 v1.0 的核心概念
LangChain 是大模型应用开发框架,非单纯API封装。v1.0聚焦Agent工程化:以`create_agent`为核心,基于LangGraph实现可持久化、可中断、可观测的智能体循环;统一模型接口、强化工具描述、分层记忆管理,并通过中间件支持人工介入、摘要压缩与隐私脱敏,推动AI从“能跑”走向“可靠生产”。(239字)
257 1
|
17天前
|
SQL 存储 分布式计算
一篇文章搞懂 Hive:从数仓定位到架构、表设计与数据倾斜治理
Hive是基于Hadoop的SQL数据仓库工具,不存数据、不算数据,仅作“胶水层”:元数据存MySQL,数据落HDFS,计算交YARN。支持内外表、分区/分桶、ORC/Parquet列存及丰富优化策略,专为海量离线分析而生,是企业级数仓十五年事实标准。(239字)
552 1
|
11天前
|
分布式计算 分布式数据库 Spark
HDFS 写文件流程:复制管线与故障恢复机制
本文深度拆解HDFS写文件流程:`hdfs dfs -put`秒回背后,是客户端、NameNode与DataNode协同完成建文件、64KB packet切包、三节点串行管线复制、逐层ack及动态容错(如节点宕机自动剔除+异步补副本)的完整链路,揭示“写成功≠三副本齐”的设计本质。
87 1
|
3天前
|
SQL 存储 Java
Hive LOAD DATA 详解:本地加载是复制,集群加载是移动
本文详解 Hive `LOAD DATA` 的核心机制与实战避坑:厘清 `LOCAL`(复制,留源)与集群路径(移动,删源)的本质区别,对比文件位置、速度及源文件去留;总结5大高频陷阱,并给出 `LOAD` 与 `INSERT` 的选型建议——文件就绪用 `LOAD`,需加工用 `INSERT`。
57 0
|
3天前
|
SQL 存储 数据采集
Hive 基本数据类型:12 种类型的边界、转换与选型
本文详解Hive 12种基本数据类型:明确各类型边界、存储开销、静默丢数风险(如decimal超限写NULL)及生产选型规范。强调建表时类型设计的关键性——一旦上线,修改成本极高。
55 0
|
4天前
|
Kubernetes API 流计算
Flink Native Kubernetes 架构:为什么 TaskManager 是一群裸 Pod
本文深度解析 Flink Native Kubernetes 模式(基于 Flink 2.3),揭示其核心特征:JobManager 由 Deployment 管理,TaskManager 则由 Flink 自身通过内置 Kubernetes 客户端动态创建裸 Pod,形成一条“不对称分界线”。文章厘清三层平面、对象拓扑、权限链与配置要点,助你精准排障、合理选型。
69 0
|
4天前
|
Kubernetes Java 流计算
Flink on Kubernetes 部署模式:Application 与 Session 的两个分水岭
本文详解Flink on Kubernetes的Application与Session两种部署模式:前者为应用独占集群、资源隔离强、故障域独立;后者共享集群、资源复用高但存在作业干扰风险。二者核心差异在于集群生命周期归属及`main()`执行位置,直接影响运维成本与稳定性。
59 0
|
4天前
|
Kubernetes 流计算 网络架构
Flink on Kubernetes 部署架构:一个 Deployment 与一群 Pod
本文深入解析Flink 2.3在Kubernetes上的部署架构,聚焦“对象所有权”这一核心逻辑:JobManager为Deployment,TaskManager由其动态创建的裸Pod组成,HA ConfigMap则刻意不设ownerReference以持久化元数据。厘清Standalone、Native与Operator三种模式的责任边界,并详解资源生命周期、扩缩容机制、配置注入及高频排障要点。
73 0
|
6天前
|
JSON 中间件 Java
LangChain 模型调用工具:bind_tools 与 tool_calls,模型动手能力的底层协议
本文深入剖析Agent工具调用的底层协议,聚焦`bind_tools`(工具注册与Schema生成)、`tool_calls`(模型意图的标准输出)、`ToolMessage`(结果回传闭环)三大核心机制;详解`tool_choice`五种控制模式、并行调用与`tool_call_id`对应关系;对比手动循环与`create_agent`适用场景。助你穿透“黑盒”,掌握大模型应用开发的地基能力。
76 0