开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink on yarn模式 hadoop有做kerberos 吗?

如题

展开
收起
游客3oewgrzrf6o5c 2022-06-27 17:19:12 540 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,是的,阿里云的Flink on YARN模式可以与Hadoop Kerberos集成。在Flink on YARN模式下使用Kerberos,需要进行以下配置:

    1. 启用Kerberos认证:在Flink on YARN模式下,需要在flink-conf.yaml文件中启用Kerberos认证。您可以通过设置security.kerberos.login.use-ticket-cache为false,启用Kerberos认证。示例配置如下:

      security.kerberos.login.use-ticket-cache: false
      
    2. 配置Kerberos相关参数:在Flink on YARN模式下,需要配置Kerberos相关参数,包括Kerberos认证的principal、keytab文件的路径等。您可以在flink-conf.yaml文件中设置以下参数:

      security.kerberos.login.keytab: /path/to/user.keytab
      security.kerberos.login.principal: user@EXAMPLE.COM
      

      您需要将上述参数进行替换,以适应您的实际情况。

    3. 配置Hadoop相关参数:在Flink on YARN模式下,需要配置Hadoop相关参数,以使Flink在与YARN交互时使用Kerberos认证。您可以在flink-conf.yaml文件中设置以下参数:

      security.kerberos.security.enabled: true
      security.kerberos.service.name: yarn
      security.kerberos.login.contexts: YARN_RM,YARN_CLIENT
      fs.hdfs.impl.disable.cache: true
      

      您需要将上述参数进行替换,以适应您的实际情况。

    需要注意的是,启用Kerberos认证后,需要在Flink on YARN模式下使用Kerberos认证的所有计算节点和YARN节点上都需要配置Kerberos相关参数。否则,可能会导致Flink on YARN模式启动失败或者无法与YARN进行交互。

    2023-07-23 13:01:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载