开发者社区> 明离> 正文

在Dataphin中怎么配置Hadoop数据源的kerberos信息

简介: 目前Dataphin数据集成或数据服务支持Hadoop生态四种数据源类型:Hive,HDFS,Hbase,Impala。Kerberos认证是Hadoop生态使用较多一种安全认证协议,本文将说明如何在Dataphin中配置上述数据源的kerberos信息。
+关注继续查看

作者:天大


目前Dataphin数据集成或数据服务支持Hadoop生态四种数据源类型:Hive,HDFS,Hbase,Impala。Kerberos认证是Hadoop生态使用较多一种安全认证协议,下面说明一下,在Dataphin中怎么配置每种数据类型的kerberos信息。需要注意的是,在配置Hadoop数据源时强烈推荐上传Hadoop相关的配置文件,包括core-site.xml、hdfs-site.xml、hbase-site.xml等。

1. Hive


Dataphin支持三种Hive安全认证协议,Simple,LDAP,Kerberos,通过配置页面的kerberos选项进行切换。

1637030514178-248cc3c5-cc68-439a-8336-6ad734da5b3f.png

Kerberos按钮选择关闭,则为Simple或者是LDAP,如果是LDAP模式,填写下面的用户名和密码即可。

Kerberos按钮选择开启,则为Kerberos模式,需要填写kerberos认证需要的相关信息,如下图所示。

2.png

Hive的kerberos信息分位三个部分:kdc Server,hdfs认证信息,hive认证信息,下面分别进行说明。

  • KDC Server

kdc server配置有两种模式。

简单模式只需要填写kdc server 的服务地址即可,但需要确保Dataphin集群(包括Mesos集群)对kdc server网络通畅,需要访问kdc server的88端口(包括TCP协议和UDP协议)。简单模式下,Dataphin会在做kerberos认证时,根据填写的kdc server自动生成一个临时配置文件。

3.png


配置文件模式,需要上传krb5.conf配置文件,该文件可以找Hadoop运维同学索取,或者通过(CDH,CDP,FusionInsight)控制台下载客户端配置,配置文件中会包括krb5.conf文件。推荐使用配置文件模式,因为配置文件会包括较多参数,包括网络协议,重试策略,票据过期时间等。

4.png

  • HDFS认证信息

HDFS kerberos认证信息包括HDFS principal和keytab文件,keytab文件,principal可以找Hadoop运维同学索取,或者通过(CDH,CDP,FusionInsight)控制台下载客户端。上传keytab文件前请确认所填principal和keytab文件匹配。可以在hadoop集群或者配置了hadoop client的机器上执行如下命令。

--查看keytab对应的principal
klist -ket hdfs.keytab
--验证principal
kinit -kt hdfs.keytab principal

5.png


  • Hive认证信息

Hive kerberos认证信息如下图所示,包括jdbc url,keytab文件,principal。

6.png

Hive的principal和keytab获取方式和HDFS一致,参考上文的HDFS部分,在此不再赘述。Hive配置需要关注的另外一点是,Dataphin hive的kerberos认证支持Server级别的principal和两段式的用户级别principal,如果是两段式的principal时,jdbc url里的principal参数需要填写Server级别的三段式(hive jdbc client会检查URL中的principal,如果不是三段式的会抛出异常)。

-- hive jdbc url demo
jdbc:hive2://192.168.1.168:10000/v290_auto;principal=hive/cdh-master@DATAPHIN.COM


另外一点是如果hive使用HA高可用模式,URL中的principal需要使用_HOST占位符格式。

-- hive jdbc ha url demo
jdbc:hive2://cdh-master:2181,cdh-worker01:2181,cdh-worker02:2181/v29_ha_test_dev;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk;principal=hive/_HOST@DATAPHIN.COM


2. HDFS


HDFS数据源kerberos配置信息和Hive中的HDFS部分一致,请参考上文,在此不再赘述。

7.png


3. HBase


Hbase kerberos配置信息如下图所示,其中kdc server相关请参考Hive中kdc Server相关配置说明。

keytab文件和principal获取请参考Hive中相关说明,这两部分基本和Hive一致。需要注意的是HBase master和region Server的principal可能不一致,另外Hbase集群的master可能会切换,需要上传HBase集群的配置文件。

Hbase连接地址参考:

192.168.1.168:2181,192.168.1.169:2181,192.168.1.170:2181

8.png

4. Impala

Impala kerberos配置信息如下图所示,其中kdc server相关请参考Hive中kdc Server相关配置说明。

keytab文件和principal获取请参考Hive中相关说明,这两部分基本和Hive一致。需要注意的是Impala也同时支持server级别和用户级别(两段式principal)认证,但URL中需要填写Server级别的principal。

-- impala jdbc url demo
jdbc:impala://cdh-master:21050/default;AuthMech=1;KrbServiceName=impala;KrbRealm=DATAPHIN.COM;KrbHostFQDN=cdh-master

9.png


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hadoop数据迁移MaxCompute最佳实践
本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。您也可以参考本文进行MaxCompute数据到Hadoop的反向迁移。
9365 0
【Hadoop Summit Tokyo 2016】一个持续部署的Hadoop数据分析平台
本讲义出自Graham Gear在Hadoop Summit Tokyo 2016上的演讲,主要分享了数据工程开发管道的相关内容并介绍了持续部署的Hadoop数据分析平台Cloudera。
1283 0
使用IntelliJ IDEA开发SpringMVC网站(三)数据库配置
原文:使用IntelliJ IDEA开发SpringMVC网站(三)数据库配置 摘要 讲解在IntelliJ IDEA中,如何进行Mysql数据库的配置 目录[-] 文章已针对IDEA 15做了一定的更新,部分更新较为重要,请重新阅读文章并下载最新源码。
1279 0
Hadoop详细配置
<div id="blog_content"> <div><br></div> <div>目录 <div> <p><a target="_blank" style="color:rgb(0,102,0)">第1章 概要说明4</a></p> <p><a target="_blank" style="color:rgb(0,102,0)">1.1 Hadoop是什么?4</a></
2439 0
Kafka零数据丢失的配置方案
这两年大数据行业发展前景较好,行业工程师薪资高、人才少、竞争压力小,很多人也因此想要转型成为大数据工程师,但也正是因为行业新、人才少,很多技术解决方案也是缺少很优质的答案。
368 0
+关注
明离
明离
10
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载