开发者社区> 问答> 正文

使用 hdfs 的任务, taskmanager 无法启动的问题

各位下午好,目前我正在使用 Flink on k8s application-mode 构建构建一个消费 kafka 写入 hive 的 demo,使用 hdfs 作为 statebackend,遇到了一些问题,希望能得到帮助。这里我描述一下问题与 debug 的过程。

Dockerfile 如下

FROM flink:1.11.3-scala_2.11 RUN mkdir -p $FLINK_HOME/usrlib RUN mkdir -p /opt/hadoop/conf COPY flink-shaded-hadoop-2-uber-2.7.5-10.0.jar $FLINK_HOME/lib/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar COPY flink-on-k8s-1.0-SNAPSHOT.jar $FLINK_HOME/usrlib/flink-on-k8s-1.0-SNAPSHOT.jar COPY TopSpeedWindowing.jar $FLINK_HOME/usrlib/TopSpeedWindowing.jar ENV HADOOP_CONF_DIR /opt/hadoop/conf ENV YARN_CONF_DIR /opt/hadoop/conf COPY yarn-site.xml /opt/hadoop/conf/yarn-site.xml COPY hdfs-site.xml /opt/hadoop/conf/hdfs-site.xml COPY core-site.xml /opt/hadoop/conf/core-site.xml

启动命令如下

flink-1.11.3/bin/flink run-application -p 1 -t kubernetes-application -Dkubernetes.cluster-id=my-first-application-cluster-demo7-4 -Dkubernetes.jobmanager.service-account=flink -Dtaskmanager.memory.process.size=1024m -Dkubernetes.taskmanager.cpu=1 -Dtaskmanager.numberOfTaskSlots=1 -Dkubernetes.container-start-command-template="%java% %classpath% %jvmmem% %jvmopts% %logging% %class% %args%" -Dkubernetes.container.image=flink:demo7-4 -Dkubernetes.rest-service.exposed.type=NodePort local:///opt/flink/usrlib/flink-on-k8s-1.0-SNAPSHOT.jar

flink-on-k8s-1.0-SNAPSHOT.jar 这个 jar 包仅仅是消费 kafka,使用 hdfs 作为 statebackend 记录状态。

一开始尝试只把 yarn-site.xml 等三个文件放在 usrlib 目录下,JobManager 无法启动,报错是 UnknownHost。参考邮件列表中的信息,设置HADOOP_CONF_DIR之后,JobManager 成功启动且没有报错日志,但是 TaskManager 一直处于 ContainerCreating 状态,7-8 分钟后 deployment 自动退出。使用 describe pod 获取 tm 报错信息如下:

Events: Type Reason Age From Message



Normal Scheduled default-scheduler Successfully assigned default/my-first-application-cluster-demo7-4-taskmanager-1-1 to k8s-node0002 Warning FailedMount 37s (x10 over 4m46s) kubelet, k8s-ci-dcn-bigdata-node0002 MountVolume.SetUp failed for volume "hadoop-config-volume" : configmap "hadoop-config-my-first-application-cluster-demo7-4" not found Warning FailedMount 29s (x2 over 2m44s) kubelet, k8s-node0002 Unable to attach or mount volumes: unmounted volumes=[hadoop-config-volume], unattached volumes=[hadoop-config-volume flink-config-volume default-token-fhkhf]: timed out waiting for the condition

请问我是否配置有误,还是需要别的配置来启用 hdfs。*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-08 11:23:12 1054 0
1 条回答
写回答
取消 提交回答
  • 1.11版本以后可以直接在Flink Client的机器上export HADOOP_CONF_DIR 然后运行flink run-application或者kubernetes_session.sh启动Flink任务,这样Flink Client会自动通过ConfigMap将Hadoop配置ship到JobManager和TaskManager pod 并且加到classpath的*来自志愿者整理的flink邮件归档

    2021-12-08 16:20:30
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HDFS optimization for Hbase At XiaoMi 立即下载
HDFS optimization for HBase at XiaoMi 立即下载