开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云E-MapReduce xml的带有kerberos如何配置呢?

阿里云E-MapReduce xml的带有kerberos如何配置呢?目前是oss的配置是放置在hadoop的core-site.xml内,那其它的呢,principal信息呢?

展开
收起
真的很搞笑 2023-11-30 13:00:22 102 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    阿里云 E-MapReduce 中的 Kerberos 配置通常会涉及到多个 XML 配置文件,例如 core-site.xmlhdfs-site.xmlmapred-site.xml。这些配置文件存储在集群节点上的 Hadoop 配置目录中。

    以下是一些可能需要添加到相关 XML 文件中的 Kerberos 相关配置示例:

    1. core-site.xml

      • 在这个文件中,你需要配置与 HDFS 交互时使用的 Kerberos 参数。如果使用了 OSS(Object Storage Service),那么相关的 OSS 认证参数也应该在这个文件中。

        <configuration>
        <!-- 如果使用 OSS -->
        <property>
          <name>fs.oss.accessKeyId</name>
          <value>[你的 Access Key ID]</value>
        </property>
        <property>
          <name>fs.oss.accessKeySecret</name>
          <value>[你的 Access Key Secret]</value>
        </property>
        
        <!-- Kerberos 相关配置 -->
        <property>
          <name>hadoop.security.authentication</name>
          <value>kerberos</value>
        </property>
        <property>
          <name>hadoop.security.authorization</name>
          <value>true</value>
        </property>
        <property>
          <name>java.security.krb5.conf</name>
          <value>/etc/krb5.conf</value>
        </property>
        <property>
          <name>hadoop.rpc.protection</name>
          <value>privacy</value>
        </property>
        <property>
          <name>hadoop.security.auth_to_local</name>
          <value>RULE:[2:$1@$0](.*@YOUR-REALM.COM)s/@.*//</value>
        </property>
        </configuration>
        
    2. hdfs-site.xml

      • 在这个文件中,你可以配置与 HDFS 服务本身的 Kerberos 认证有关的信息。
        <configuration>
        <property>
          <name>dfs.namenode.kerberos.principal</name>
          <value>nn/_HOST@YOUR-REALM.COM</value>
        </property>
        <property>
          <name>dfs.datanode.kerberos.principal</name>
          <value>dn/_HOST@YOUR-REALM.COM</value>
        </property>
        <property>
          <name>dfs.web.authentication.kerberos.principal</name>
          <value>HTTP/_HOST@YOUR-REALM.COM</value>
        </property>
        </configuration>
        
    3. mapred-site.xml

      • 在这个文件中,可以配置 MapReduce 框架与 YARN 的 Kerberos 认证信息。
        <configuration>
        <property>
          <name>yarn.resourcemanager.principal</name>
          <value>rm/_HOST@YOUR-REALM.COM</value>
        </property>
        <property>
          <name>yarn.nodemanager.principal</name>
          <value>nm/_HOST@YOUR-REALM.COM</value>
        </property>
        </configuration>
        
    4. yarn-site.xml

      • 在这个文件中,可以配置 YARN 本身的服务主体和密钥表路径等信息。
        <configuration>
        <property>
          <name>yarn.resourcemanager.principal</name>
          <value>rm/_HOST@YOUR-REALM.COM</value>
        </property>
        <property>
          <name>yarn.nodemanager.principal</name>
          <value>nm/_HOST@YOUR-REALM.COM</value>
        </property>
        <property>
          <name>yarn.resourcemanager.keytab</name>
          <value>/path/to/rm-keytab-file</value>
        </property>
        <property>
          <name>yarn.nodemanager.keytab</name>
          <value>/path/to/nm-keytab-file</value>
        </property>
        </configuration>
        

    注意:这里的每个配置都需要替换为实际的值,比如 REALM 名称、keytab 路径以及 principal 名称等。同时,对于不同的组件和服务,可能还需要额外的配置,具体取决于你的环境和需求。

    2023-11-30 13:27:16
    赞同 展开评论 打赏
  • CSDN全栈领域优质创作者,万粉博主;InfoQ签约博主;华为云享专家;华为Iot专家;亚马逊人工智能自动驾驶(大众组)吉尼斯世界纪录获得者

    在阿里云E-MapReduce中配置Kerberos,需要通过E-MapReduce控制台的Kerberos服务的配置页面进行操作。首先,krb5.conf是Kerberos的客户端配置文件,它用于配置KDC服务的位置、realms名称、以及主机名到Kerberos realms的映射等信息。但要注意的是,krb5.conf和kdc.conf配置文件不支持直接在本地自定义修改。

    对于EMR-3.43.0和EMR-5.9.0及之后版本的集群,您可以选择创建高安全类型的集群。在这种类型的集群中,开源组件会以Kerberos的安全模式启动,这意味着只有经过认证的客户端才能访问集群的服务,例如HDFS。

    在配置过程中,您可以参考HDFS服务的集成Kerberos的相关文档。例如,HDFS服务在hdfs账号下启动,其软件包路径通常为/usr/lib/hadoop-current,配置在/etc/emr/hadoop-conf/目录下。

    2023-11-30 13:04:33
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关产品

  • 开源大数据平台 E-MapReduce
  • 相关电子书

    更多
    低代码开发师(初级)实战教程 立即下载
    冬季实战营第三期:MySQL数据库进阶实战 立即下载
    阿里巴巴DevOps 最佳实践手册 立即下载