问题: spark on k8s 需要配置Hosts ,指定 --conf spark.kubernetes.driver.podTemplateFile driver pod不生效,但是指定spark.kubernetes.executor.podTemplateFile pod生效
spark版本3.2.0 k8s版本1.16
提交命令:
bin/spark-submit
--master k8s://https://10.x.x.x:6443
--deploy-mode cluster
--name spark-pi
--class org.apache.spark.examples.streaming.HdfsWordCount
--conf spark.executor.instances=1
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark1
--conf spark.kubernetes.container.image=spark-example:v5
--conf spark.kubernetes.driver.podTemplateFile=/opt/spark/host_add.yaml
--conf spark.kubernetes.executor.podTemplateFile=/opt/spark/host_add.yaml
local:///opt/spark/examples/jars/spark-examples_2.12-3.2.0.jar hdfs:/x.x.x.xx:8020/jars/wordcount.txt
yaml文件:
apiVersion: v1 kind: Pod metadata: name: hostaliases-pod spec: restartPolicy: Never hostAliases: -ip: "10.x.xx.xx" hostnames: -"cdh104" containers: -name: cat-hosts image: spark-example:v5
分别查看driver/executor的yaml: kubectl get po spark-pi-1640312803968-driver -o yaml (未生效,没有hostAliases配置)
kubectl get po hdfswordcount-ad53e97dea43281c-exec-1 -o yaml (生效存在hostAliases配置)
查看相似问题,我试用了spark3.0/3.2两个版本driver pod都未生效
https://stackoverflow.com/questions/58169780/pod-template-for-specifying-tolerations-when-running-spark-on-kubernetes
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。