Spark 核心之 Client 模式提交命令和特点分析

简介: 本文深度解析 Spark Client 模式核心——`spark-submit` 命令,涵盖命令全景、Standalone/YARN-Client 对比、六大参数详解、四种实战场景、参数优先级机制,并配原创架构图与可运行示例,助你彻底掌握 Driver 位置、资源分配与配置逻辑。(239字)

摘要:spark-submit 是用 Spark 的第一道门槛。一条命令背后隐藏着 Driver 位置、资源分配策略、参数优先级、Standalone vs YARN 差异等大量关键决策。本文从 spark-submit 命令结构全景、Standalone-Client 与 YARN-Client 命令对比、六大核心参数详解、四种 Client 模式场景模板、参数优先级机制五个维度,配合 1 张原创深色架构图和完整可运行示例,让你彻底掌握 Spark Client 模式的提交命令。

关键词:spark-submit, Client 模式, Standalone-Client, YARN-Client, --master, --deploy-mode, 参数体系, Driver 配置


一、开篇:你会写 spark-submit 吗?

先看一道面试题:

下面两条命令分别启动了哪种部署模式?Driver 运行在哪里?区别是什么?

# 命令 A
spark-submit --master spark://master:7077 --deploy-mode client app.jar

# 命令 B
spark-submit --master yarn --deploy-mode client app.jar

如果你能准确回答——说明你对 Spark 部署模式的参数体系已经有了系统理解。如果你犹豫了——这篇文章将帮你彻底理清 Client 模式的所有提交命令和参数。


二、spark-submit 命令全景图

在这里插入图片描述

2.1 通用命令结构

spark-submit [通用选项] [应用选项] [配置选项] <app-jar | python-file | R-file> [app-args]

每个选项组的作用:

选项组 前缀 核心参数 示例
通用选项 --master --deploy-mode 集群地址、部署模式 --master yarn
应用选项 --class --name --jars 主类、应用名、依赖 --class com.example.Main
Driver 配置 --driver-* Driver 内存、核心数 --driver-memory 2G
Executor 配置 --executor-* --num-executors Executor 资源 --executor-memory 4G
动态配置 --conf k=v 任意 Spark 配置 --conf spark.sql.shuffle.partitions=200

2.2 --master 决定了资源管理器

# Standalone
--master spark://master:7077

# YARN
--master yarn

# YARN HA(多个 RM)
--master yarn --conf spark.yarn.ha.enabled=true

# 本地测试
--master local[4]

2.3 --deploy-mode client 决定 Driver 位置

Client 模式的核心语义:Driver 在提交客户端 JVM 中运行。

# 显式指定(推荐)
--deploy-mode client

# 省略时的默认值(取决于 --master)
# --master spark://...     → 默认 client
# --master yarn             → 默认 client
# --master local[...]       → 始终 client

三、Standalone-Client 提交命令

3.1 完整模板

spark-submit \
  --master spark://master-node:7077 \
  --deploy-mode client \
  --class com.example.SparkApp \
  --name "my-standalone-client-app" \
  --driver-memory 2G \
  --driver-cores 2 \
  --executor-memory 4G \
  --executor-cores 2 \
  --total-executor-cores 8 \
  --conf spark.driver.port=4040 \
  --conf spark.driver.host=192.168.1.100 \
  --conf spark.default.parallelism=16 \
  --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
  /path/to/my-app.jar \
  arg1 arg2

3.2 Standalone-Client 特有参数

参数 说明 默认值
--total-executor-cores 总核心数(Standalone 特有) 所有 Worker 可用核心
--executor-cores 每个 Executor 核心数 1
--driver-cores Driver 核心数(本地 JVM) 1

注意:Standalone 没有 --num-executors——Executor 数量由 --total-executor-cores / --executor-cores 自动计算。

3.3 spark-shell(交互式 Client)

# spark-shell 默认就是 Standalone-Client 模式
spark-shell \
  --master spark://master:7077 \
  --executor-memory 4G \
  --total-executor-cores 8
# 等价于 --deploy-mode client(默认值)

四、YARN-Client 提交命令

4.1 完整模板

spark-submit \
  --master yarn \
  --deploy-mode client \
  --class com.example.SparkApp \
  --name "my-yarn-client-app" \
  --driver-memory 2G \
  --executor-memory 4G \
  --executor-cores 2 \
  --num-executors 8 \
  --conf spark.yarn.am.memory=1G \
  --conf spark.yarn.am.cores=1 \
  --conf spark.yarn.queue=default \
  --conf spark.yarn.maxAppAttempts=2 \
  --conf spark.eventLog.enabled=true \
  --conf spark.eventLog.dir=hdfs:///spark-logs \
  /path/to/my-app.jar

4.2 YARN-Client 特有参数

参数 说明 默认值
--num-executors 固定 Executor 数量 2
spark.yarn.am.memory AM(ExecutorLauncher) 内存 1G
spark.yarn.am.cores AM 核心数 1
spark.yarn.queue YARN 队列 default
spark.yarn.maxAppAttempts AM 最大重试次数 2

4.3 spark-shell on YARN

spark-shell \
  --master yarn \
  --deploy-mode client \
  --executor-memory 4G \
  --num-executors 8

五、Standalone-Client vs YARN-Client 命令差异速记

# ======== Standalone-Client ========
spark-submit \
  --master spark://master:7077 \
  --deploy-mode client \
  --total-executor-cores 8 \          # ← 总核心数控制并行度
  --executor-memory 4G \
  app.jar

# ======== YARN-Client ========
spark-submit \
  --master yarn \
  --deploy-mode client \
  --num-executors 8 \                 # ← 固定 Executor 数量
  --executor-memory 4G \
  --conf spark.yarn.queue=default \   # ← YARN 专属
  app.jar
维度 Standalone-Client YARN-Client
资源指定 --total-executor-cores --num-executors
Master 地址 spark://host:7077 yarn
队列管理 无 spark.yarn.queue
AM 配置 无 spark.yarn.am.*
日志聚合 无 HDFS 事件日志

六、参数优先级机制

Spark 参数有三层来源,优先级从高到低:

优先级:--conf k=v  >  --<parameter>  >  spark-defaults.conf  >  代码中的 set()
       (命令行最高)  (专用选项)      (配置文件)           (代码最低)

相同参数冲突时,后指定的覆盖前指定的:

# --executor-memory 最终为 8G(后指定的生效)
spark-submit \
  --executor-memory 4G \
  --executor-memory 8G \
  app.jar

七、四种 Client 模式实战场景

场景 1:本地开发调试

spark-submit \
  --master local[4] \
  --driver-memory 2G \
  my-app.jar

场景 2:Standalone 集群交互分析

spark-shell \
  --master spark://master:7077 \
  --executor-memory 8G \
  --total-executor-cores 16

场景 3:YARN 集群生产级提交

spark-submit \
  --master yarn \
  --deploy-mode client \
  --driver-memory 4G \
  --executor-memory 8G \
  --executor-cores 4 \
  --num-executors 20 \
  --conf spark.yarn.queue=production \
  --conf spark.sql.shuffle.partitions=400 \
  etl-job.jar 2025-01-01

场景 4:Python PySpark on YARN

spark-submit \
  --master yarn \
  --deploy-mode client \
  --executor-memory 4G \
  --num-executors 8 \
  --conf spark.pyspark.python=/usr/bin/python3 \
  my-ml-pipeline.py --input hdfs:///data/raw

八、总结

要点 一句话总结
命令结构 spark-submit [通用] [应用] [配置] <jar>
--master 决定资源管理器:spark:// vs yarn vs local
--deploy-mode Client = Driver 在提交客户端
资源参数 Standalone 用 --total-executor-cores,YARN 用 --num-executors
优先级 --conf > --param > spark-defaults.conf > 代码

金句:掌握 spark-submit 命令不是目的——通过命令理解 Driver 在哪、资源如何分配、参数如何覆盖,才是工程师的竞争力所在。



作者:starzy | AI Data Engineer / 大数据技术实践者

博客:blog.starzy.cn | GitHub:starzy1990.github.io

专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践

目录
相关文章
|
1月前
|
分布式计算 资源调度 Kubernetes
SparkCore 之 Spark 运行模式系统讲解
本文系统解析 Spark 五大运行模式(Local、Standalone、YARN、Kubernetes、Mesos),涵盖架构原理、spark-submit 配置、client/cluster 深度对比及选型决策树,附4张原创图解与实战模板,助力Java/大数据/AI工程师高效落地。
136 0
|
30天前
|
人工智能 JSON 自然语言处理
LangChain 六大使用场景:哪些值得做,哪些不值得,一张决策图说清
本文系统梳理LangChain六大核心场景(RAG、Agent、对话系统、结构化提取、内容生成、多模态),逐项解析痛点、机制、落地要点与适用边界,并附“不该用”的反向清单。强调“模型+外部世界”协同才是框架价值所在,助力AI工程化理性选型。
432 0
|
27天前
|
人工智能 中间件 Java
LangChain 到底是什么:从链式连接到 Agent 运行时,讲透 v1.0 的核心概念
LangChain 是大模型应用开发框架,非单纯API封装。v1.0聚焦Agent工程化:以`create_agent`为核心,基于LangGraph实现可持久化、可中断、可观测的智能体循环;统一模型接口、强化工具描述、分层记忆管理,并通过中间件支持人工介入、摘要压缩与隐私脱敏,推动AI从“能跑”走向“可靠生产”。(239字)
337 1
|
30天前
|
SQL 存储 分布式计算
一篇文章搞懂 Hive:从数仓定位到架构、表设计与数据倾斜治理
Hive是基于Hadoop的SQL数据仓库工具,不存数据、不算数据,仅作“胶水层”:元数据存MySQL,数据落HDFS,计算交YARN。支持内外表、分区/分桶、ORC/Parquet列存及丰富优化策略,专为海量离线分析而生,是企业级数仓十五年事实标准。(239字)
678 1
|
1月前
|
SQL 消息中间件 存储
Flink SQL 之 Flink SQL 企业级案例分析:从实时大屏到用户画像与风控告警的生产实践
本文深入剖析Flink SQL在企业级实时场景的落地实践,涵盖实时订单大屏、用户画像、风控告警三大真实案例,完整呈现架构设计、核心SQL、性能调优、常见坑及上线Checklist,聚焦端到端稳定性、低延迟与高可用,助力从Demo迈向生产。
279 0
|
2月前
|
人工智能 缓存 监控
一文吃透阿里云 Token Plan 个人版:三档套餐额度解析、Credits 消耗规则、Qwen3.8 优惠及 CLI 调用全教程
随着大模型应用从原型验证走向常态化生产,传统按量计费模式的短板日益凸显。对于独立开发者、副业创作者、智能体调试爱好者来说,按量计费存在账单波动不可控、高频调用成本居高不下、多模态工具分开扣费等现实痛点。为了解决这类问题,百炼推出Token Plan订阅服务,分为个人版与团队版两大产品线。其中**Token Plan个人版**专门面向单人开发者设计,采用包月订阅、Credits统一计量单位,一份订阅可以覆盖文本、图像、视频多模态模型,同时内置联网检索、文档解析等增强工具,原生兼容Cursor、OpenClaw、Hermes、Claude Code等主流AI开发框架。搭配Qwen3.8‑Max‑P
379 1
|
1月前
|
人工智能 自然语言处理 监控
LangChain深度解析:模型、链、Agent三大核心,解锁大模型落地的正确姿势
本文系统解析LangChain——大模型应用开发的事实标准框架。从核心架构、Model I/O、RAG检索、Chains编排、Agents智能体到LCEL表达式语言,结合Java/大数据工程师视角,拆解其模块化设计、模型无关性与生产级能力(流式、异步、可观测性),助力高效构建RAG、AI Agent等落地应用。(239字)
262 0
前后工作效率差别有点大
用户反馈:初期体验尚可,但使用数日后发现大模型响应变迟钝,同一任务反复处理,不仅大量消耗token,还显著降低效率,影响使用体验。
|
12月前
|
前端开发 UED
按钮的呼吸感:你的用户为何停留?
按钮的呼吸感:你的用户为何停留?
399 118