配置 OushuDB 连接 Secure HDFS

简介: 安装部署好Secure HDFS安装部署好MIT Kerberos KDC同步KDC和OushuDB cluster的系统时间

image.png

注意:HDFS可插拔存储外部表在kerberos环境下可以工作,需要OushuDB3.3.1.2以上版本

准备工作

安装部署好Secure HDFS
安装部署好MIT Kerberos KDC
同步KDC和OushuDB cluster的系统时间

开始部署

登录KDC server,将Kerberos配置文件/etc/krb5.conf分发至OushuDB每个节点

scp /etc/krb5.conf <hawq-node>:/etc/krb5.conf

为postgres用户创建Kerberos principal并生成一个keytab文件

kadmin.local -q "addprinc -randkey postgres@REALM"kadmin.local -q "xst -k /etc/security/keytabs/hawq.keytab postgres@REALM"

将keytab文件分发至OushuDB Master节点

scp /etc/security/keytabs/hawq.keytab <hawq-master>:/etc/security/keytabs/hawq.keytab

登录OushuDB Master,更改keytab文件的用户权限

chown gpadmin:gpadmin /etc/security/keytabs/hawq.keytabchmod 400 /etc/security/keytabs/hawq.keytab

修改$GPHOME/etc/hawq-site.xml,添加如下内容:

<property><name>enable_secure_filesystem</name><value>ON</value></property><property><name>krb_server_keyfile</name><value>/etc/security/keytabs/hawq.keytab</value></property>

修改$GPHOME/etc/hdfs-client.xml,去掉如下所示的KDC注释:

<!-- KDC
...
KDC -->

分发至OushuDB各个节点
将HDFS上OushuDB数据目录属主改为postgres用户

sudo -u hdfs hadoop fs -chown -R postgres:gpadmin /<dfs_url>
目录
相关文章
|
1月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
155 5
|
1月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
103 4
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
79 4
|
5月前
|
消息中间件 SQL Kafka
实时计算 Flink版产品使用问题之独立集群与hdfs集群不在一起,何配置checkpoint目录为hdfs
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
机器学习/深度学习 移动开发 分布式计算
配置 HDFS-配置 core-site-hdfs-size 以及 env.sh 等配置文件|学习笔记
快速学习配置 HDFS-配置 core-site-hdfs-size 以及 env.sh 等配置文件
|
网络安全
Hdfs连接报错java.net.ConnectException: Connection timed out: no further information
Hdfs连接报错java.net.ConnectException: Connection timed out: no further information
344 0
|
存储 分布式计算 Hadoop
Hadoop配置手册2: 测试Hdfs和WordCount测试
Hadoop配置手册2: 测试Hdfs和WordCount测试
146 0
|
分布式计算 Hadoop 网络安全
OushuDB 安装与升级之安装 HDFS
OushuDB 安装与升级之安装 HDFS
68 0
|
机器学习/深度学习 分布式计算 资源调度
配置 HDFS-启动 HDFS 测试|学习笔记
快速学习配置 HDFS-启动 HDFS 测试
配置 HDFS-启动 HDFS 测试|学习笔记
|
分布式计算 安全 Hadoop
配置 HDFS-配置 https 证书以及 ssl 配置文件|学习笔记
快速学习配置 HDFS-配置 https 证书以及 ssl 配置文件
配置 HDFS-配置 https 证书以及 ssl 配置文件|学习笔记