阿里云E-MapReduce xml的带有kerberos如何配置呢?目前是oss的配置是放置在hadoop的core-site.xml内,那其它的呢,principal信息呢?
阿里云 E-MapReduce 中的 Kerberos 配置通常会涉及到多个 XML 配置文件,例如 core-site.xml
、hdfs-site.xml
和 mapred-site.xml
。这些配置文件存储在集群节点上的 Hadoop 配置目录中。
以下是一些可能需要添加到相关 XML 文件中的 Kerberos 相关配置示例:
core-site.xml
:
在这个文件中,你需要配置与 HDFS 交互时使用的 Kerberos 参数。如果使用了 OSS(Object Storage Service),那么相关的 OSS 认证参数也应该在这个文件中。
<configuration>
<!-- 如果使用 OSS -->
<property>
<name>fs.oss.accessKeyId</name>
<value>[你的 Access Key ID]</value>
</property>
<property>
<name>fs.oss.accessKeySecret</name>
<value>[你的 Access Key Secret]</value>
</property>
<!-- Kerberos 相关配置 -->
<property>
<name>hadoop.security.authentication</name>
<value>kerberos</value>
</property>
<property>
<name>hadoop.security.authorization</name>
<value>true</value>
</property>
<property>
<name>java.security.krb5.conf</name>
<value>/etc/krb5.conf</value>
</property>
<property>
<name>hadoop.rpc.protection</name>
<value>privacy</value>
</property>
<property>
<name>hadoop.security.auth_to_local</name>
<value>RULE:[2:$1@$0](.*@YOUR-REALM.COM)s/@.*//</value>
</property>
</configuration>
hdfs-site.xml
:
<configuration>
<property>
<name>dfs.namenode.kerberos.principal</name>
<value>nn/_HOST@YOUR-REALM.COM</value>
</property>
<property>
<name>dfs.datanode.kerberos.principal</name>
<value>dn/_HOST@YOUR-REALM.COM</value>
</property>
<property>
<name>dfs.web.authentication.kerberos.principal</name>
<value>HTTP/_HOST@YOUR-REALM.COM</value>
</property>
</configuration>
mapred-site.xml
:
<configuration>
<property>
<name>yarn.resourcemanager.principal</name>
<value>rm/_HOST@YOUR-REALM.COM</value>
</property>
<property>
<name>yarn.nodemanager.principal</name>
<value>nm/_HOST@YOUR-REALM.COM</value>
</property>
</configuration>
yarn-site.xml
:
<configuration>
<property>
<name>yarn.resourcemanager.principal</name>
<value>rm/_HOST@YOUR-REALM.COM</value>
</property>
<property>
<name>yarn.nodemanager.principal</name>
<value>nm/_HOST@YOUR-REALM.COM</value>
</property>
<property>
<name>yarn.resourcemanager.keytab</name>
<value>/path/to/rm-keytab-file</value>
</property>
<property>
<name>yarn.nodemanager.keytab</name>
<value>/path/to/nm-keytab-file</value>
</property>
</configuration>
注意:这里的每个配置都需要替换为实际的值,比如 REALM 名称、keytab 路径以及 principal 名称等。同时,对于不同的组件和服务,可能还需要额外的配置,具体取决于你的环境和需求。
在阿里云E-MapReduce中配置Kerberos,需要通过E-MapReduce控制台的Kerberos服务的配置页面进行操作。首先,krb5.conf是Kerberos的客户端配置文件,它用于配置KDC服务的位置、realms名称、以及主机名到Kerberos realms的映射等信息。但要注意的是,krb5.conf和kdc.conf配置文件不支持直接在本地自定义修改。
对于EMR-3.43.0和EMR-5.9.0及之后版本的集群,您可以选择创建高安全类型的集群。在这种类型的集群中,开源组件会以Kerberos的安全模式启动,这意味着只有经过认证的客户端才能访问集群的服务,例如HDFS。
在配置过程中,您可以参考HDFS服务的集成Kerberos的相关文档。例如,HDFS服务在hdfs账号下启动,其软件包路径通常为/usr/lib/hadoop-current,配置在/etc/emr/hadoop-conf/目录下。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。