开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

k8s配置spark.kubernetes.driver.podTemplateFile不生效

问题: spark on k8s 需要配置Hosts ,指定 --conf spark.kubernetes.driver.podTemplateFile driver pod不生效,但是指定spark.kubernetes.executor.podTemplateFile pod生效

spark版本3.2.0 k8s版本1.16

提交命令:

bin/spark-submit
--master k8s://https://10.x.x.x:6443
--deploy-mode cluster
--name spark-pi
--class org.apache.spark.examples.streaming.HdfsWordCount
--conf spark.executor.instances=1
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark1
--conf spark.kubernetes.container.image=spark-example:v5
--conf spark.kubernetes.driver.podTemplateFile=/opt/spark/host_add.yaml
--conf spark.kubernetes.executor.podTemplateFile=/opt/spark/host_add.yaml
local:///opt/spark/examples/jars/spark-examples_2.12-3.2.0.jar hdfs:/x.x.x.xx:8020/jars/wordcount.txt

yaml文件:

apiVersion: v1 kind: Pod metadata: name: hostaliases-pod spec: restartPolicy: Never hostAliases: -ip: "10.x.xx.xx" hostnames: -"cdh104" containers: -name: cat-hosts image: spark-example:v5

分别查看driver/executor的yaml: kubectl get po spark-pi-1640312803968-driver -o yaml (未生效,没有hostAliases配置)

kubectl get po hdfswordcount-ad53e97dea43281c-exec-1 -o yaml (生效存在hostAliases配置)

查看相似问题,我试用了spark3.0/3.2两个版本driver pod都未生效

https://stackoverflow.com/questions/58169780/pod-template-for-specifying-tolerations-when-running-spark-on-kubernetes

展开
收起
niceboy_feng 2021-12-24 10:46:18 1028 0
0 条回答
写回答
取消 提交回答

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
ACK 云原生弹性方案—云原生时代的加速器 立即下载
ACK集群类型选择最佳实践 立即下载
企业运维之云原生和Kubernetes 实战 立即下载