一系统环境及硬件
1.系统版本 centos 7.7
2.硬件
-
cpu ：>= 8核16线程
根据实际并发量来考量，比如 8 并发，每个seg里面有2个数据节点，那么cpu应该是 8*2*2=20核32线程，如果都是小查询，核心数 可以适当降低 - 内存 ：>= 16 GB
- 磁盘 ：sas盘15k转速，固态最好。生产环境上硬盘使用率最好 <30%
-
物理机：
系统盘：独立一块盘（最好做raid10），即2块盘 数据盘：(根据seg中节点数来做raid0)，如一个seg中2个节点，可以做2个raid组，每个节点放在不同的raid上，充分利用IO -
虚拟机：建议系统盘和数据盘分开挂载
系统盘： >64GB 数据盘：按需分配 -
网络：
多网口（卡）： 客户端网络（可以千兆，万兆） 内部网网络（万兆），网络性能对GP影响最大 单网口（卡）：万兆即10Gbit
3.集群规模
master ：1 台
segment ：3 台
standby ：1 台
二.安装部署
1.下载离线安装包
https://github.com/greenplum-db/gpdb/releases/tag/6.1.0
2.上传到服务器，放在/usr/local/src下
3.关闭防火墙
- 关闭防火墙（所有机器）
iptables （centos6.x）
关闭：service iptables stop
永久关闭：chkconfig iptables off
- 检查firewalld （centos 7.x）
关闭：systemctl stop firewalld
永久关闭 ：systemctl disable firewalld
4.关闭SELINUX（所有机器）
[root@mdw ~]# vi /etc/selinux/config
确保SELINUX=disabled
5.配置/etc/hosts （所有机器）
为之后GP在各个节点之间相互通信做准备。
修改各台主机的主机名称。 一般建议的命名规则如下: 项目名_gp_节点
Master : dis_gp_mdw
Standby Master : dis_gp_smdw
Segment Host : dis_gp_sdw1 dis_gp_sdw2 dis_gp_sdw3 以此类推
如果Standby也搭建在某Segment host下，则命名为:dis_gp_sdw3_smdw
[root@mdw ~]# vi /etc/hosts
添加每台机器的ip 和hostname，确保所有机器的/etc/hosts中包含以下信息：
10.16.162.166 dis-gp-mdw
10.16.162.151 dis-gp-sdw1
10.16.162.152 dis-gp-sdw2
10.16.162.153 dis-gp-sdw3-smdw
6.修改主机名
Centos7.x vi /etc/hostname
Centos6.x vi /etc/sysconfig/network
修改完之后 reboot机器
7.配置sysctl.conf（所有机器）
kernel.shmall = 197951838 # echo $(expr $(getconf _PHYS_PAGES) / 2)
kernel.shmmax = 810810728448 # echo $(expr $(getconf _PHYS_PAGES) / 2 \* $(getconf PAGE_SIZE))
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 75 #vm.overcommit_ratio = (RAM - 0.026 * gp_vmem_rq) / RAM #gp_vmem_rq = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.7
net.ipv4.ip_local_port_range = 10000 65535
kernel.sem = 500 2048000 200 4096
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
#vm.min_free_kbytes = 487119#awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo
#对于大于64GB的主机，加上下面4行
vm.dirty_background_ratio = 0
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736 # 1.5GB
vm.dirty_bytes = 4294967296 # 4GB
#对于小于64GB的主机删除dirty_background_bytes dirty_bytes，加上下面2行
vm.dirty_background_ratio = 3
vm.dirty_ratio = 10
#vm.min_free_kbytes在内存 > 64GB系统的时候可以设置，一般比较少设置此参数。
#vm.min_free_kbytes,确保网络和存储驱动程序PF_MEMALLOC得到分配。这对内存大的系统尤其重要。一般系统上，默认值通常太低。可以使用awk命令计算vm.min_free_kbytes的值，通常是建议的系统物理内存的3％：
#awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo >> /etc/sysctl.conf
#不要设置 vm.min_free_kbytes 超过系统内存的5％，这样做可能会导致内存不足。
8.配置资源限制参数（所有机器）
在/etc/security/limits.conf文件下增加以下参数
* soft nofile 524288
* hard nofile 524288
* soft nproc 131072
* hard nproc 131072
“*” 星号表示所有用户
noproc 是代表最大进程数
nofile 是代表最大文件打开数
RHEL / CentOS 6.X
修改：/etc/security/limits.d/90-nproc.conf 文件的nproc
[root@mdw ~]# vi /etc/security/limits.d/90-nproc.conf
确保 * soft nproc 131072
RHEL / CentOS 7.X 修改：
修改：/etc/security/limits.d/20-nproc.conf 文件的nproc
[root@mdw ~]# vi /etc/security/limits.d/20-nproc.conf
确保 * soft nproc 131072
ulimit -u 命令显示每个用户可用的最大进程数 max user processes,验证返回值为131072.
9.XFS挂载选项
XFS相比较ext4具有如下优点：
XFS的扩展性明显优于ext4，ext4的单个文件目录超过200W个性能下降明显
ext4作为传统文件系统确实非常稳定，但是随着存储需求的越来越大，ext4渐渐不在适应
由于历史磁盘原因，ext4的inode个数限制(32位),最多只能支持40多亿个文件，单个文件最大支持到16T
XFS使用的是64位管理空间，文件系统规模可以达到EB级别，XFS是基于B+Tree管理元数据
GP 需要使用XFS的文件系统，RHEL/CentOS 7 和Oracle Linux将XFS作为默认文件系统，SUSE/openSUSE已经为XFS做了长期支持。
centos6.x需要先安装xfs包
centos7.x不需要先安装
例如挂载新xfs步骤：
1.[root@mdw ~]# fdisk /dev/sdd
然后跟着n,p,1提示做下去，最后wq保存退出
[root@mdw ~]# mkfs.xfs /dev/sdd1
2.挂载目录
[root@mdw ~]# mount /dev/sdd1 /data/master
3.设置自动挂载
[root@mdw ~]# vi /etc/fstab
/dev/sdd1 /data xfs rw,noatime,inode64,allocsize=16m 0 0
10.磁盘I/O 预读大小设置
- 临时生效
[root@mdw ~]# /sbin/blockdev --setra 16384 /dev/sda
- 永久生效
[root@mdw ~]# vi /etc/rc.d/rc.local
blockdev --setra 16384 /dev/sdd*
11.修改rc.local 权限
必须在启动时可以运行 rc.local文件。
例如，在RHEL / CentOS 7系统上，设置文件的执行权限。
[root@mdw ~]# chmod + x /etc/rc.d/rc.local
12.磁盘I/O调度算法（确保是deadline）
centos7默认就是deadline
[root@mdw ~]# more /sys/block/sdd/queue/scheduler
noop anticipatory [deadline] cfq
如上所示，就不需要修改，否则按下面操作
RHEL 6.x or CentOS 6.x 可以修改 /boot/grub/grub.conf，增加 elevator=deadline 例如：
RHEL 7.x or CentOS 7.x, 使用 grub2 ，可以使用系统工具grubby来修改;
[root@mdw ~]# grubby --update-kernel=ALL --args="elevator=deadline"
重启后使用一下命令检查
[root@mdw ~]# grubby --info=ALL
13.关闭Transparent Huge Pages (THP)
禁用THP，因为它会降低Greenplum数据库的性能。
RHEL 6.x or CentOS 6.x 或更高版本默认情况下启用THP。在RHEL 6.x上禁用THP的一种方法是添加参transparent_hugepage=never 到/boot/grub/grub.conf：
RHEL 7.x or CentOS 7.x, 使用 grub2 ，可以使用系统工具grubby来修改;
[root@mdw ~]# grubby --update-kernel=ALL --args="transparent_hugepage=never"
添加参数后，重启系统reboot。
参数检查：
[root@mdw ~]# cat /sys/kernel/mm/*transparent_hugepage/enabled
always [never]
14.SSH连接阈值
Greenplum数据库管理程序中的gpexpand‘ gpinitsystem、gpaddmirrors，使用 SSH连接来执行任务。在规模较大的Greenplum集群中，程序的ssh连接数可能会超出主机的未认证连接的最大阈值。发生这种情况时，会收到以下错误：ssh_exchange_identification：连接被远程主机关闭。
为避免这种情况，可以更新 /etc/ssh/sshd_config 或者 /etc/sshd_config 文件的 MaxStartups 和 MaxSessions 参数
MaxStartups 300:30:1000
重启sshd,使参数生效
service sshd restart
15.同步集群时钟（NTP） （此项为操作，环境已经设置好ntp）
为了保证集群各个服务的时间一致，首先在master 服务器上，编辑 /etc/ntp.conf，配置时钟服务器为数据中心的ntp服务器。若没有，先修改master 服务器的时间到正确的时间，再修改其他节点的 /etc/ntp.conf，让他们跟随master服务器的时间。
[root@mdw ~]# vi /etc/ntp.conf
在server 最前面加上
master：
把server1，2，3，4全删
改成 server xxx，可以问公司IT人员公司的时钟IP，如果没有就设置成
server 1.cn.pool.ntp.org
segment：
server mdw prefer # 优先主节点
server smdw # 其次standby 节点，若没有standby ，可以配置成数据中心的时钟服务器
[root@mdw ~]# service ntpd restart # 修改完重启ntp服务
16.检查字符集
[root@mdw greenplum-db]# echo $LANG
en_US.UTF-8
如果为zh_CN.UTF-8
则要修改 CentOS 6.X /etc/syscconfig/i18n
CentOS 7.X /etc/locale.conf
17.创建gpadmin用户(所有机器)
在每个节点上创建gpadmin用户，用于管理和运行gp集群
[root@mdw ~]# groupadd gpadmin
[root@mdw ~]# useradd gpadmin -g gpadmin -s /bin/bash
[root@mdw ~]# passwd gpadmin
三.集群软件安装
1.安装依赖（所有机器）root用户执行
[root@mdw ~]# yum install -y zip unzip openssh-clients ed ntp net-tools perl perl-devel perl-ExtUtils* mlocate lrzsz parted apr apr-util bzip2 krb5-devel libevent libyaml rsync
2.执行安装程序（root用户执行）
执行安装脚本，默认安装到/usr/local/ 目录下。
[root@mdw ~]# rpm -ivh greenplum-db-6.1.0-rhel6-x86_64.rpm
安装完成后可在/usr/local下看到greenplum-db-6.1.0和它的软连接greenplum-db
由于权限的问题，建议手动修改安装路径，放在/home/gpadmin下，执行以下语句
1.进入安装父目录
cd /usr/local
2.把安装目录移动到/home/gpadmin
mv greenplum-db-6.1.0 /home/gpadmin
3.删除软连接
/bin/rm –r greenplum-db
4.在/home/gpadmin下建立新的软链接
ln -s /home/gpadmin/greenplum-db-6.1.0 /home/gpadmin/greenplum-db
5.修改greenplum_path.sh (重要)
vi /home/gpadmin/greenplum-db/greenplum_path.sh
把 GPHOME=/usr/local/greenplum-db-6.1.0
修改为
GPHOME=/home/gpadmin/greenplum-db
6.把文件赋权给gpadmin
chown –R gpadmin:gpadmin /home/gpadmin
3.集群互信，免密登陆（root用户执行）
生成密钥
GP6.x开始gpssh-exkeys命令已经不带自动生成密钥了，所以需要自己手动生成
[root@mdw greenplum-db]# ssh-keygen -t rsa
提示语不用管，一直按Enter键使用默认值即可
4.将本机的公钥复制到各个节点机器的authorized_keys文件中
[root@mdw greenplum-db]# ssh-copy-id dis-gp-sdw1
[root@mdw greenplum-db]# ssh-copy-id dis-gp-sdw2
[root@mdw greenplum-db]# ssh-copy-id dis-gp-sdw3
5.使用gpssh-exkeys 工具，打通n-n的免密登陆
vi all_host
增加所有hostname到文件中
dis-gp-mdw
dis-gp-sdw1
dis-gp-sdw2
dis-gp-sdw3
[root@mdw greenplum-db]# source /home/gpadmin/greenplum-db/greenplum_path.sh
[root@mdw greenplum-db]# gpssh-exkeys -f all_host
6.同步master 配置到各个主机
打通gpadmin 用户免密登录
[root@mdw greenplum-db-6.2.1]# su - gpadmin
[gpadmin@mdw ~]$ source /home/gpadmin/greenplum-db/greenplum_path.sh
[gpadmin@mdw ~]$ ssh-keygen -t rsa
[gpadmin@mdw greenplum-db]$ ssh-copy-id dis-gp-sdw1
[gpadmin@mdw greenplum-db]$ ssh-copy-id dis-gp-sdw2
[gpadmin@mdw greenplum-db]$ ssh-copy-id dis-gp-sdw3
[gpadmin@mdw greenplum-db]$ mkdir gpconfigs
[gpadmin@mdw greenplum-db]$ cd gpconfigs
[gpadmin@mdw greenplum-db]$ vi all_hosts
把所有主机hostname添加进去
[gpadmin@mdw ~]$ gpssh-exkeys -f /home/gpadmin/gpconfigs/all_hosts
[gpadmin@mdw greenplum-db]$ vi /home/gpadmin/gpconfigs/seg_hosts
把所有数据节点hostname添加进去
7.批量设置greenplum在gpadmin用户的环境变量(gpadmin用户下)
添加gp的安装目录，和环境信息到用户的环境变量中。
编辑 .bashrc
source /home/gpadmin/greenplum-db/greenplum_path.sh
8.批量复制系统参数到其他节点(如果前面已经每台机器设置过可以跳过)
示例：
[gpadmin@mdw gpconfigs]$ exit
[root@mdw ~]# source /home/gpadmin/greenplum-db/greenplum_path.sh
[root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/hosts root@=:/etc/hosts
[root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/security/limits.conf root@=:/etc/security/limits.conf
[root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/sysctl.conf root@=:/etc/sysctl.conf
[root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/security/limits.d/20-nproc.conf
root@=:/etc/security/limits.d/20-nproc.conf
[root@mdw ~]# gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'sysctl -p'
[root@mdw ~]# gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'reboot'
9.集群节点安装
3.5.1 模拟gpseginstall 脚本(gpadmin用户执行)
GP6.x无gpseginstall 命令，以下模拟此命令主要过程，完成gpsegment的部署
gpadmin 用户下执行
1.cd /home/gpadmin
2.tar -cf gp6.tar greenplum-db-6.1.0/
3.vi /home/gpadmin/gpconfigs/gpseginstall_hosts
添加
dis-gp-sdw1
dis-gp-sdw2
dis-gp-sdw3-smdw
10.把压缩包分发到segment上
gpscp -f /home/gpadmin/gpconfigs/gpseginstall_hosts gp6.tar =:/home/gpadmin
11.通过gpssh命令链接到各个segment上执行命令
[gpadmin@mdw gpconfigs]$ gpssh -f /home/gpadmin/gpconfigs/gpseginstall_hosts
tar -xf gp6.tar
ln -s greenplum-db-6.1.0 greenplum-db
exit
12.环境变量文件分发到其他节点
[gpadmin@mdw gpconfigs]$ exit
[root@mdw greenplum-db-6.2.1]# su – gpadmin
[gpadmin@mdw ~]$ cd gpconfigs
[gpadmin@mdw gpconfigs]$ vi seg_hosts
把segment的hostname都添加到文件中
dis-gp-sdw1
dis-gp-sdw2
dis-gp-sdw3
[gpadmin@mdw gpconfigs]$ gpscp -f /home/gpadmin/gpconfigs/seg_hosts /home/gpadmin/.bashrc gpadmin@=:/home/gpadmin/.bashrc
13.创建集群数据目录（root用户执行）
1. 创建master 数据目录
mkdir -p /data/master
chown -R gpadmin:gpadmin /data
source /home/gpadmin/greenplum-db/greenplum_path.sh
如果有standby节点则需要执行下面2句 dis-gp-sdw3-smdw 这个hostname灵活变更
gpssh -h dis-gp-sdw3-smdw -e 'mkdir -p /data/master'
gpssh -h dis-gp-sdw3-smdw -e 'chown -R gpadmin:gpadmin /data'
2. 创建segment数据目录
source /home/gpadmin/greenplum-db/greenplum_path.sh
gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/p1'
gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/p2'
gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/m1'
gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/m2'
gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'chown –R gpadmin:gpadmin /data'
四.集群初始化
1.编写初始化配置文件(gpadmin用户)
拷贝配置文件模板
su - gpadmin
cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/gpconfigs/gpinitsystem_config
2.根据需要修改参数
vi /home/gpadmin/gpconfigs/gpinitsystem_config
注意：To specify PORT_BASE, review the port range specified in the net.ipv4.ip_local_port_range parameter in the /etc/sysctl.conf file.
主要修改的参数：
#primary的数据目录
declare -a DATA_DIRECTORY=(/data/p1 /data/p2)
#master节点的hostname
MASTER_HOSTNAME=dis-gp-mdw
#master节点的主目录
MASTER_DIRECTORY=/data/master
#mirror的端口要把前面的#去掉(启用mirror)
MIRROR_PORT_BASE=7000
#mirror的数据目录要把前面的#去掉(启用mirror)
declare -a MIRROR_DATA_DIRECTORY=(/data/m1 /data/m2)
3.集群初始化（gpadmin用户）
执行脚本：
gpinitsystem -c /home/gpadmin/gpconfigs/gpinitsystem_config --locale=C -h /home/gpadmin/gpconfigs/gpseginstall_hosts --mirror-mode=spread
注意：spread是指spread分布策略，只允许主机数>每个主机中的段实例数情况（number of hosts is greater than the number of segment instances.）
如果不指定mirror_mode，则是默认的group策略，这样做的情况在段实例数>1时，down机之后不会导致它的镜像全在另外一台机器中，降低另外一台机器的性能瓶颈。
4.安装中途失败，提示使用 bash /home/gpadmin/gpAdminLogs/backout_gpinitsystem_gpadmin_* 回退，执行该脚本即可，例如：
20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[FATAL]:-Unknown host gpzq-sh-mb: ping: unknown host gpzq-sh-mb
unknown host Script Exiting!
20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[WARN]:-Script has left Greenplum Database in an incomplete state
20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[WARN]:-Run command bash
/home/gpadmin/gpAdminLogs/backout_gpinitsystem_gpadmin_20191218_203938 to remove these changes
20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[INFO]:-Start Function BACKOUT_COMMAND
20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[INFO]:-End Function BACKOUT_COMMAND
[gpadmin@mdw gpAdminLogs]$ ls
backout_gpinitsystem_gpadmin_20191218_203938 gpinitsystem_20191218.log
[gpadmin@mdw gpAdminLogs]$ bash backout_gpinitsystem_gpadmin_20191218_203938
Stopping Master instance
waiting for server to shut down.... done
server stopped
Removing Master log file
Removing Master lock files
Removing Master data directory files
若执行后仍然未清理干净，可执行一下语句后，再重新安装：
pg_ctl -D /data/master/gpseg-1 stop
rm -f /tmp/.s.PGSQL.5432 /tmp/.s.PGSQL.5432.lock
主节点
rm -rf /data/master/gpseg-1
所有数据节点
rm -rf /data/p1/gpseg-x
rm -rf /data/p2/gpseg-x
5.安装成功后设置环境变量（gpadmin用户）
编辑gpadmin 用户的环境变量，增加(重要)
export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
除此之外，通常还增加：（可以不设置）
export PGPORT=5432 # 根据实际情况填写
export PGUSER=gpadmin # 根据实际情况填写
export PGDATABASE=gpdw # 根据实际情况填写
前面已经添加过 source /usr/local/greenplum-db/greenplum_path.sh，此处操作如下：
编辑 .bashrc
export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
6.安装成功后配置
psql 登陆gp 并设置密码（gpadmin用户）
psql -h hostname -p port -d database -U user -W password
-h后面接对应的master或者segment主机名
-p后面接master或者segment的端口号
-d后面接数据库名可将上述参数配置到用户环境变量中，linux 中使用gpadmin用户不需要密码。
psql 登录，并设置gpadmin用户密码示例：
psql -d postgres
alter user gpadmin encrypted password ‘xxx’;0.
7.客户端登陆gp
配置 pg_hba.conf
vi /data/master/gpseg-1/pg_hba.conf
新增一行 host all all 0.0.0.0/0 md5
8.初始化standby节点
gpinitstandby -s dis-gp-sdw3
