k8s配置spark.kubernetes.driver.podTemplateFile不生效-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

k8s配置spark.kubernetes.driver.podTemplateFile不生效

来自:Apache Spark 中国技术社区 2021-12-24 10:46:18 346 0

问题: spark on k8s 需要配置Hosts ,指定 --conf spark.kubernetes.driver.podTemplateFile driver pod不生效,但是指定spark.kubernetes.executor.podTemplateFile pod生效

spark版本3.2.0 k8s版本1.16

提交命令:

bin/spark-submit
--master k8s://https://10.x.x.x:6443
--deploy-mode cluster
--name spark-pi
--class org.apache.spark.examples.streaming.HdfsWordCount
--conf spark.executor.instances=1
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark1
--conf spark.kubernetes.container.image=spark-example:v5
--conf spark.kubernetes.driver.podTemplateFile=/opt/spark/host_add.yaml
--conf spark.kubernetes.executor.podTemplateFile=/opt/spark/host_add.yaml
local:///opt/spark/examples/jars/spark-examples_2.12-3.2.0.jar hdfs:/x.x.x.xx:8020/jars/wordcount.txt

yaml文件:

apiVersion: v1 kind: Pod metadata: name: hostaliases-pod spec: restartPolicy: Never hostAliases: -ip: "10.x.xx.xx" hostnames: -"cdh104" containers: -name: cat-hosts image: spark-example:v5

分别查看driver/executor的yaml: kubectl get po spark-pi-1640312803968-driver -o yaml (未生效,没有hostAliases配置)

kubectl get po hdfswordcount-ad53e97dea43281c-exec-1 -o yaml (生效存在hostAliases配置)

查看相似问题,我试用了spark3.0/3.2两个版本driver pod都未生效

https://stackoverflow.com/questions/58169780/pod-template-for-specifying-tolerations-when-running-spark-on-kubernetes

取消 提交回答
全部回答(0)
相关问答

1

回答

Kubernetes(k8s)是什么呀 ?

2022-04-02 18:33:00 163浏览量 回答数 1

1

回答

Kubernetes 是 IBM 团队发起并维护的基于Docker的开源容器集群管理系统

2022-02-20 20:00:16 1637浏览量 回答数 1

1

回答

kubernetes(K8S)中的Job这种资源对象具体是什么?

2021-12-07 13:39:31 133浏览量 回答数 1

1

回答

kubernetes(K8S)中的常用的标签分类有哪些啊?

2021-12-07 13:35:41 104浏览量 回答数 1

1

回答

Kubernetes与Docker有什么关系?

2021-10-25 23:34:02 213浏览量 回答数 1

1

回答

Kubernetes与Docker分别是什么?

2021-10-21 14:41:38 279浏览量 回答数 1

1

回答

请教一下,kubernetes有什么劣势吗?#K8S

2020-06-04 21:14:33 337浏览量 回答数 1

1

回答

Mac OS X上安装nvm时,提示xcrum: error: invalid active dev

2020-04-06 01:47:39 574浏览量 回答数 1

0

回答

Serverless Kubernetes 集群  基于云解析 PrivateZone 的服务发现

2018-08-31 22:41:49 1004浏览量 回答数 0

1

回答

使用springMVC怎么能随时获取到jdbcTemplate进行sql查询

2016-03-13 14:32:07 3425浏览量 回答数 1
+关注
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载