Deepgreen数据库安装配置详解

简介: 可能很多朋友并不是很了解Deepgreen,Deepgreen是大规模并行数据库,他做为Greenplum的升级版,在原Greenplum基础上优化改进并添加了很多的功能,他也是MPP(大规模并行数据库),shared-nothing架构,在数据仓库和数据分析计算领域的前景不可小觑。
可能很多朋友并不是很了解Deepgreen,Deepgreen是大规模并行数据库,他做为Greenplum的升级版,在原Greenplum基础上优化改进并添加了很多的功能,他也是MPP(大规模并行数据库),shared-nothing架构,在数据仓库和数据分析计算领域的前景不可小觑。如果有朋友想更详尽的了解这款数据库,请继续关注我的博客,同时可以通过其官网了解更多内容:http://vitessedata.com/deepgreen-db

今天我们先来看看这款数据库的安装,由于架构的一致性,Deepgreen与Greenplum的安装步骤几乎一致,稍有不同的地方本文用红色/斜体下划线标出。官网上并未放出安装手册,具体可以参见Greenplum的安装手册:

1、测试环境规划:
192.168.100.106    规划为1 Master 3 Segment
    内存:126G    硬盘:1T    操作系统:CentOS release 6.5 (Final) 
    单网卡
192.168.100.107    规划为3 Segment
    内存:126G    硬盘:2T    操作系统:CentOS release 6.5 (Final) 
    单网卡
2、安装操作系统及软件包:
CentOS 6.x
bash shell
GNU tars
GNU zip
sed
3、关闭selinux
# 查看状态:
# sestatus
SELinuxstatus: disabled
# 如果与上面不一致,请编辑文件,并将状态改为disabled
# vim /etc/selinux/config 
SELINUX=disabled
4、关闭iptables
service iptables stop
5、配置操作系统参数
vim /etc/sysctl.conf
kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 10000 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2

/etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
6、修改磁盘I/O调度器
查看命令:cat /sys/block/sdx/queue/scheduler
临时修改,重启失效
echo deadline > /sys/block/sbx/queue/scheduler
永久修改
vim /boot/grub/grub.conf
增加内核参数elevator = deadline,例如:
kernel /vmlinuz-2.6.18-274.3.1.el5 ro root=LABEL=/ elevator=deadline crashkernel=128M@16M quiet console=tty1console=ttyS1,115200 panic=30 transparent_hugepage=neverinitrd /initrd-2.6.18-274.3.1.el5.img
7、设置磁盘的预读扇区(blockdev)值为16384 
lsblk -a 查看设备块信息 
查看命令: /sbin/blockdev --getra /dev/sdb
设置命令: /sbin/blockdev --setra 16384 /dev/sdb
为防止重启失效,将配置写入/etc/rc.local:
echo '/sbin/blockdev --setra 16384 /dev/sda' >> /etc/rc.local
8、关闭THP(Transparent Huge Pages)
vim /boot/grub/grub.conf
添加transparent_hugepage参数,例如:
kernel /vmlinuz-2.6.18-274.3.1.el5 ro root=LABEL=/elevator=deadline crashkernel=128M@16M quiet console=tty1console=ttyS1,115200 panic=30 transparent_hugepage=never
initrd /initrd-2.6.18-274.3.1.el5.img
9、新建dgadmin用户组和用户,这里和Greenplum稍有区别,需要先建立用户,然后将数据库安装在心间用户家目录下面:
#  useradd dgadmin -r -m
#  passwd dgadmin
10、上传软件并切换到用户
# su - dgadmin
备注:因为有可能由于权限不足导致出错,不要把deepgreen 安装在/usr/local下。安装到新用户home下,即/home/dgadmin。
11、执行bin文件安装,自动生成vitesse.deepgreendb.16.17文件夹及软连接文件deepgreendb
12、添加初始化变量到dgadmin用户.bashrc文件。
# vim .bashrc

# .bashrc
# Source global definitions
if [ -f /etc/bashrc ]; then
    . /etc/bashrc
fi
# User specific aliases and functions
source /home/dgadmin/deepgreendb/greenplum_path.sh
使立即生效:source .bashrc
13、使用root用户修改两台主机的host文件,配置两台主机功能如下:
192.168.100.106         ha2
192.168.100.107         linux1
14、root用户新建hostfile_exkeys
vim hostfile_exkeys:
ha2
linux1
15、root用户临时生效dg命令:
source /home/dgadmin/deepgreendb/greenplum_path.sh
16、root用户Exchange keys:
# gpssh-exkeys -f /home/dgadmin/dgconfig/hostfile_exkeys
[STEP 1 of 5] create local ID and authorize on local host
  ... /root/.ssh/id_rsa file exists ... key generation skipped
[STEP 2 of 5] keyscan all hosts and update known_hosts file
[STEP 3 of 5] authorize current user on remote hosts
  ... send to linux1
[STEP 4 of 5] determine common authentication file content
[STEP 5 of 5] copy authentication files to all remote hosts
  ... finished key exchange with linux1
[INFO] completed successfully
17、root用户安装软件到各个节点:
# gpseginstall -f /home/dgadmin/dgconfig/hostfile_exkeys -u dgadmin -p dgadmin
18、切换回dgadmin用户,检查安装是否正确:
# gpssh -f dgconfig/hostfile_exkeys -e ls -l $GPHOME
如有问题使用下面命令修复:
# gpssh-exkeys -f dgconfig/hostfile_exkeys
19、用root用户执行gpcheckos检查主机参数设置,有问题的地方参考文章开头调整。
20、新建各个节点目录:
[dgadmin@linux1 ~]$ exit
logout
[root@ha2 ~]# mkdir /dgdata
[root@ha2 ~]# mkdir /dgdata/master
[root@ha2 ~]# mkdir /dgdata/primary
[root@ha2 ~]# chown dgadmin /dgdata
[root@ha2 ~]# chown dgadmin /dgdata/master
[root@ha2 ~]# chown dgadmin /dgdata/primary

[root@ha2 ~]# gpssh -h linux1 -e 'mkdir /dgdata'
[root@ha2 ~]# gpssh -h linux1 -e 'mkdir /dgdata/primary'
[root@ha2 ~]# gpssh -h linux1 -e 'chown dgadmin /dgdata'
[root@ha2 ~]# gpssh -h linux1 -e 'chown dgadmin /dgdata/primary'
21、切换到dgadmin用户,创建及修改集群初始化参数文件
[dgadmin@ha2 ~]$ vim cluster.conf
[dgadmin@ha2 ~]$ cat dgconfig/cluster.conf


# Set this to anything you like
ARRAY_NAME="highgo data warehouse"
CLUSTER_NAME="highgo data warehouse"

# This file must exist in the same directory that you execute gpinitsystem in
MACHINE_LIST_FILE=hostfile

# This names the data directories for the Segment Instances and the Entry Postmaster
SEG_PREFIX=hgdwseg

# Prefix for script created database
DATABASE_PREFIX=hgdw

# This is the port at which to contact the resulting Greenplum database, e.g.
#   psql -p $PORT_BASE -d template1
PORT_BASE=25432


# Array of data locations for each hosts Segment Instances, the number of directories in this array will
# set the number of segment instances per host
declare -a DATA_DIRECTORY=(/dgdata/primary /dgdata/primary /dgdata/primary)

# Name of host on which to setup the QD
MASTER_HOSTNAME=ha2

# Name of directory on that host in which to setup the QD
MASTER_DIRECTORY=/dgdata/master
MASTER_PORT=15432

# Hosts to allow to connect to the QD (and Segment Instances)
# By default, allow everyone to connect (0.0.0.0/0)
IP_ALLOW=0.0.0.0/0

# Shell to use to execute commands on all hosts
TRUSTED_SHELL=/usr/bin/ssh

CHECK_POINT_SEGMENTS=8

ENCODING=UNICODE

export MASTER_DATA_DIRECTORY
export TRUSTED_SHELL

# Keep max_connection settings to reasonable values for
# installcheck good execution.

DEFAULT_QD_MAX_CONNECT=25
QE_CONNECT_FACTOR=5


# mirror segment conf
#MIRROR_PORT_BASE=50000
#REPLICATION_PORT_BASE=41000
#MIRROR_REPLICATION_PORT_BASE=51000
#declare -a MIRROR_DATA_DIRECTORY=(/dgdata/mirror)
22、初始化系统:
[dgadmin@ha2 ~]$ gpinitsystem -c cluster.conf 
23、添加环境变量到:
vim greenplum_path.sh
export MASTER_DATA_DIRECTORY=/dgdata/master/dg-1
export PGPORT=15432
24、检查系统状态:
gpstate
25、至此,一个Master,六个Segment的集群搭建完毕。
目录
相关文章
|
6天前
|
存储 监控 安全
数据库多实例的部署与配置方法
【10月更文挑战第23天】数据库多实例的部署和配置需要综合考虑多个因素,包括硬件资源、软件设置、性能优化、安全保障等。通过合理的部署和配置,可以充分发挥多实例的优势,提高数据库系统的运行效率和可靠性。在实际操作中,要不断总结经验,根据实际情况进行调整和优化,以适应不断变化的业务需求。
|
2天前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细!
|
4天前
|
Java 数据库连接 数据库
如何构建高效稳定的Java数据库连接池,涵盖连接池配置、并发控制和异常处理等方面
本文介绍了如何构建高效稳定的Java数据库连接池,涵盖连接池配置、并发控制和异常处理等方面。通过合理配置初始连接数、最大连接数和空闲连接超时时间,确保系统性能和稳定性。文章还探讨了同步阻塞、异步回调和信号量等并发控制策略,并提供了异常处理的最佳实践。最后,给出了一个简单的连接池示例代码,并推荐使用成熟的连接池框架(如HikariCP、C3P0)以简化开发。
15 2
|
5天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
34 2
|
20天前
|
前端开发 Java 数据库连接
javamvc配置,增删改查,文件上传下载。
【10月更文挑战第4天】javamvc配置,增删改查,文件上传下载。
33 1
|
21天前
|
关系型数据库 MySQL Java
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
这篇文章是关于如何使用Django框架配置MySQL数据库,创建模型实例,并自动或手动创建数据库表,以及对这些表进行操作的详细教程。
54 0
Django学习二:配置mysql,创建model实例,自动创建数据库表,对mysql数据库表已经创建好的进行直接操作和实验。
|
29天前
|
应用服务中间件 数据库连接 网络安全
网站连接数据库配置错误
网站连接数据库配置错误
|
7天前
|
SQL 关系型数据库 数据库连接
"Nacos 2.1.0版本数据库配置写入难题破解攻略:一步步教你排查连接、权限和配置问题,重启服务轻松解决!"
【10月更文挑战第23天】在使用Nacos 2.1.0版本时,可能会遇到无法将配置信息写入数据库的问题。本文将引导你逐步解决这一问题,包括检查数据库连接、用户权限、Nacos配置文件,并提供示例代码和详细步骤。通过这些方法,你可以有效解决配置写入失败的问题。
17 0
|
22天前
|
安全 Linux 数据库连接
CentOS 7环境下DM8数据库的安装与配置
【10月更文挑战第16天】本文介绍了在 CentOS 7 环境下安装与配置达梦数据库(DM8)的详细步骤,包括安装前准备、创建安装用户、上传安装文件、解压并运行安装程序、初始化数据库实例、配置环境变量、启动数据库服务、配置数据库连接和参数、备份与恢复、以及安装后的安全设置、性能优化和定期维护等内容。通过这些步骤,可以顺利完成 DM8 的安装与配置。
145 0
|
28天前
|
数据可视化 关系型数据库 MySQL
【IDEA】配置mysql环境并创建mysql数据库
【IDEA】配置mysql环境并创建mysql数据库
66 0

热门文章

最新文章