HDFS_DELEGATION_TOKEN自动过期问题
hadoop集群开启了Kerberos安全认证，以 Flink on Yarn 的Per-job模式提交任务。 只要是超过七天之后HDFS_DELEGATION_TOKEN自动过期， checkpoint执行不成功， 有遇到这种问题的？
2019-12-02 00:00:00.283 ERROR org.apache.flink.yarn.YarnResourceManager - Could not start TaskManager in container container_e39_1563434037485_0606_01_552751.
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token (token for BDATA_UME_ADM: HDFS_DELEGATION_TOKEN owner=BDATA_UME_ADM@TRAVELSKY.BDP.COM, renewer=yarn, realUser=, issueDate=1574414126899, maxDate=1575018926899, sequenceNumber=800, masterKeyId=225) can't be found in cache
*来自志愿者整理的flink邮件归档
写回答
-
你需要将 keytab 一并提交到集群，参考 security.kerberos.login.principal 和 security.kerberos.login.keytab 两个配置的说明 [1]。
[1]https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/config.html#kerberos-based-security https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/config.html#kerberos-based-security *来自志愿者整理的flink邮件归档
2021-12-08 14:26:37赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
