OushuDB 安装与升级之命令行安装的准备

简介: OushuDB 安装与升级之命令行安装的准备:配置YUM源及安装方式;交换公钥,设置无密码登陆;安装其他节点YUM源;关闭selinux;关闭防火墙;安装配置NTP;安装java;关于数据目录;关于IPV6

image.png

安装准备

本节安装之前需要准备4台主机,各个节点上即将安装的组件如下表所示:
image.png

说明:每个节点都需要配置/etc/hosts,上表中的主机名称需要在每台机器的/etc/hosts中追加
192.168.1.11 oushum1192.168.1.12 oushum2192.168.1.21 oushus1192.168.1.22 oushus2

配置YUM源

首先登陆到oushum1,然后切换到root用户:

ssh oushum1su - root

有两种方式配置YUM源,第一种是配置Oushu源,通过互联网安装部署,第二种是通过下载Oushu安装包,然后配置本地源安装。

方式一:配置Oushu的YUM源,适合有互联网连接情况
Redhat/CentOS 7.4及更低版本系统并且包含avx指令请配置以下YUM源:

wget -P /etc/yum.repos.d/ $获取的repo url

Redhat/CentOS 7.4及更低版本系统但是不包含avx指令请配置以下YUM源:

wget -P /etc/yum.repos.d/ $获取的repo rul

方式二:下载安装包,配置本地源,适合不需一直联网安装情况
下载安装包(或通过物理介质拷贝的方式获取):
sudo su root
cd /
wget $获取的tarball url

解压软件包并安装httpd,请用具体的版本号代替...,比如oushu-software-full-4.6.0.0-rhel7-x86_64.tar.gz:

tar xzf oushu-database-full-latest-rhel7-x86_64.tar.gzyum -y install httpdsystemctl start httpdchown -R gpadmin:root /oushu-database-full-*.*.*.*-rhel7-x86_64

安装本地源,请用具体的版本号代替...,比如/oushu-database-full-4.6.0.0/setup_repo.sh:

/oushu-database-full-*.*.*.*/setup_repo.sh

关闭selinux:

setenforce 0

重建yum缓存:

yum clean allyum makecache

上述步骤成功后,请删除压缩包,以节省磁盘空间:

rm -f /oushu-database-full-*.*.*.*-rhel7-x86_64.tar.gz

交换公钥,设置无密码登陆

创建一个hostfile文件,包含cluster中的所有机器。

cd /roottouch hostfile

编辑hostfile文件内容如下(集群各机器的hostname):

oushum1oushum2oushus1oushus2

因为我们需要使用OushuDB命令行工具”hawq ssh-exkeys”来简化无密码登录设置以及使用“hawq ssh”来简化集群操作,所以我们在oushum1上先安装OushuDB:

yum install -y hawqsource /usr/local/hawq/greenplum_path.sh  #设置hawq环境变量

在集群每台机器上执行如下指令:

sudo sed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh/sshd_config & sudo service sshd restart

在oushum1执行:

hawq ssh-exkeys -f hostfile  #交换公钥,使得ssh时无需输入用户密码(需要输入root用户密码)
注:如果集群中的root用户密码不一致,请修改root用户密码,使其保持一致。如果使用非root用户做ssh-exkeys则需要集群每台机器上都有该用户,并且密码一致。

如何更改root用户密码:

sudo echo 'password' | sudo passwd  --stdin root

请使用有sudo权限的用户执行,在’ ‘中输入想要更改的密码:

安装其他节点YUM源

在oushum1上,通过“hawq scp”命令统一安装其他节点的YUM源:

hawq scp -f hostfile /etc/yum.repos.d/oushu-database-cent73.repo =:/etc/yum.repos.d

关闭selinux

hawq ssh -f hostfile -e 'sed -i "s/^SELINUX\=enforcing/SELINUX\=disabled/g" /etc/selinux/config'hawq ssh -f hostfile -e 'setenforce 0'

”hawq ssh -f hostfile”会在hostfile中的所有节点上执行”-e”选项带的命令。

关闭防火墙

如果防火墙已经开启,需要关闭防火墙:

hawq ssh -f hostfile -e 'systemctl stop iptables'hawq ssh -f hostfile -e 'systemctl disable iptables'hawq ssh -f hostfile -e 'systemctl stop firewalld'hawq ssh -f hostfile -e 'systemctl disable firewalld'

安装配置NTP

hawq ssh -f hostfile -e 'yum install -y ntp'hawq ssh -f hostfile -e 'systemctl enable ntpd' #配置NTPD服务开机启动hawq ssh -f hostfile -e 'systemctl start ntpd' #启动NTPD服务

安装java

在oushum1使用“hawq ssh”统一安装所有节点的JDK,配置JAVA_HOME,本次安装中,JAVA_HOME的路径是/usr/java/default。如果已经安装了JDK,那么只需要将已安装的JDK目录,如/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64/,软连接到/usr/java/default

hawq ssh -f hostfile -e 'yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel'hawq ssh -f hostfile -e 'mkdir /usr/java'hawq ssh -f hostfile -e 'ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-0.b01.el7_4.x86_64/ /usr/java/default'

关于数据目录

本次安装我们假设每台机器上有两个数据盘,分别mount在/data1和/data2上。在其他硬件配置下,可能有很多块盘,用户需要根据盘数的不同更改后面相应的配置信息。尤其需要注意的是HDFS的数据目录, Magma 的数据目录和OushuDB的临时文件目录。

关于IPV6

目前Magma 暂不支持IPV6,需要将/etc/hosts中 “::1 localhost” 此行注释掉。

目录
相关文章
|
SQL Oracle 关系型数据库
实时计算 Flink版操作报错之往GREENPLUM 6 写数据,用postgresql-42.2.9.jar 报 ON CONFLICT (uuid) DO UPDATE SET 语法有问题。怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
SQL Java 数据库连接
Flink CDC这个错误怎么排查?
【2月更文挑战第10天】Flink CDC这个错误怎么排查?
307 1
|
消息中间件 存储 负载均衡
我服了,RocketMQ消费者负载均衡内核是这样设计的
文章为理解RocketMQ的负载均衡机制提供了深入的技术洞察,并对如何在实际应用中扩展和定制负载均衡策略提供了有价值的见解。
我服了,RocketMQ消费者负载均衡内核是这样设计的
|
流计算
Flink执行原理
Flink执行原理
252 0
|
算法 C++
如何精确计算出一个算法的CPU运行时间?
如何精确计算出一个算法的CPU运行时间?
|
SQL Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错“DDL forbidden because backupTask is doing snapshot”如何处理
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
Java 调度 流计算
基于多线程的方式优化 FLink 程序
这篇内容介绍了线程的基本概念和重要性。线程是程序执行的最小单位,比进程更细粒度,常用于提高程序响应性和性能。多线程可以实现并发处理,利用多核处理器,实现资源共享和复杂逻辑。文章还讨论了线程的五种状态(NEW、RUNNABLE、BLOCKED、WAITING、TIMED_WAITING和TERMINATED)以及如何在Java中创建和停止线程。最后提到了两种停止线程的方法:使用标识和中断机制。
480 5
|
NoSQL MongoDB 数据库
实时计算 Flink版操作报错之在使用Flink CDC进行数据同步时遇到了全量同步不完全的问题,同时有任务偶尔报错,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
SQL 消息中间件 Kafka
flink 读取kafka 写入带kerberos认证的hive环境
flink 读取kafka 写入带kerberos认证的hive环境