背景介绍:
Cloudberry介绍:
官网链接:
https://cloudberry.incubator.apache.org/
一句话介绍:
摘抄自官网:Apache Cloudberry is an advanced and mature open-source Massively Parallel Processing (MPP) database, derived from the open-source version of the Pivotal Greenplum Database® but built on a more modern PostgreSQL kernel and with more advanced enterprise capabilities. Cloudberry can serve as a data warehouse and can also be used for large-scale analytics and AI/ML workloads.
APCC介绍:
官网链接:
https://www.csudata.com/csu_apcc
一句话介绍:
摘抄自官网:APCC(Analytical Processing Command Center)是一个专为Greenplum数据库和Cloudberry Database集群设计的管理平台,旨在提供高效、便捷的集群管理、监控和扩容功能。通过APCC,用户能够实现对Greenplum数据库和Cloudberry Database的全面控制,从集群的创建、扩容到性能监控,为运维人员和开发者提供了一个高度集成的管理工具。
通过Docker快速体验Cloudberry和APCC
备注:
1、这里我们是在阿里云ECS上部署Cloudberry和APCC,所以后面的部署步骤注意区分命令的执行位置。
2、这里默认大家对ECS的常见操作都能熟练掌握,例如:配置安全组,登陆ECS等。
一、环境准备
安装Docker,这里就不赘述了,网上资料很多,唯一要注意的就是,配置镜像加速,不然获取镜像很慢。
cat /etc/docker/daemon.json { "registry-mirrors": ["https://docker.m.daocloud.io"] }
二、安装Cloudberry
1、部署Cloudberry
参考链接(仅供参考,具体安装,按照如下命令执行即可):
https://github.com/apache/cloudberry-bootcamp/tree/main/000-cbdb-sandbox
--1、获取部署脚本 git clone -b fix-pax --single-branch https://github.com/tuhaihe/bootcamp.git --2、替换cloudberry代码仓库 cat bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9 | grep -i clone git clone --recurse-submodules --branch main --single-branch --depth=1 https://gitee.com/mirrors_apache/cloudberry.git --默认bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9拉取代码(cloudberry)是从github,有时候会超时拉不下来, --可以把bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9文件里面的git clone这里的git仓库地址替换成 --https://gitee.com/mirrors_apache/cloudberry.git --3、执行安装,-m参数的意思是部署分布式的架构,既然玩就部署分布式架构,本质上会启动4个容器 cd bootcamp/000-cbdb-sandbox ./run.sh -c main -m --4、坐等脚本执行结束就行了
2、启动、访问Cloudberry
默认启动4个容器,我们登陆master节点容器,cbdb-mdw
docker exec -it cbdb-mdw bash gpstart -a
3、检查Cloudberry数据库
select * from gp_segment_configuration order by 2; select now(),gp_execution_dbid() from gp_dist_random('gp_id');
三、安装APCC
1、部署APCC
参考链接:
https://www.csudata.com/apcc/manual/1.x/10369
部署经验:
1、官方的部署文档非常详细了,而且下载非常丝滑,执行脚本也很丝滑,可以按照如上参考链接先部署 2、【在ECS主机上执行】先部署csubase和csumdb,参考链接如下: https://www.csudata.com/apcc/manual/1.x/10369 3、【在ECS主机上执行】再部署apcc-server,参考链接如下: https://www.csudata.com/apcc/manual/1.x/10370 4、【在ECS主机上执行】再部署apcc-agent,参考链接如下: https://www.csudata.com/apcc/manual/1.x/10371 备注:安装apcc-agent,会让你填写server的IP,这里直接填ECS主机的IP,hostname -i的结果即可。 5、关键地方来了: 我们的Cloudberry部署在Docker容器里面,按道理apcc-agent需要部署到四个cbdb的Docker容器里面才行,所以,我们直接通过docker cp 的方式,把在ECS上部署生成的目录/opt/apcc-agent、/opt/apcc-agent1.0.0/、/opt/csubase/拷贝到四个cbdb的Docker容器的/opt 目录下即可。 6、apcc-agent的启动命令,登陆4个cbdb的容器,执行如下命令: sudo /opt/apcc-agent/bin/apcc-agent start sudo /opt/apcc-agent/bin/apcc-agent status
2、启动、访问APCC
备注:记得ECS安全组先开通8090
默认APCC的监听端口是8090,所以访问http://你的ECS公网IP:8090即可登陆
默认用户名密码见:https://www.csudata.com/apcc/manual/1.x/10370
登陆第一件事,先改密码,把能改的APCC的用户的密码都改掉。自己辛辛苦苦部署的东西,被攻击了,就很难受了。
3、导入Cloudberry集群
设置经验:
集群名称:随便写
是否是IB网络:保持默认,暂时不知道这个是干啥的
master所在主机,只能下拉选择,这里选择cbdb的mdw容器的IP
数据库软件:系统会自动填写
操作系统用户:gpadmin
数据库名称:postgres
数据库端口:5432
数据库用户:gpadmin
数据库用户密码:这里根据自己需要,填gpadmin这个数据库用户的密码,因为部署Cloudberry那步已经可以登陆集群了,一切在把控中,改个密码岂不是随手就来。
填写好以后,就点击下一步,基本没啥问题,有报错,对应解决即可。
扩展阅读
个人感悟:
1、Cloudberry数据库还是很不错的,如果玩过greenplum,上手会非常快。
2、APCC所提供的功能也挺不错的,安装非常丝滑,点一点、看一看,就知道在干嘛,基本所见即所得。
3、此处也欢迎大家关注阿里云ADB PG:
一句话介绍:
云原生数据仓库 AnalyticDB PostgreSQL 版
企业级能力完备,极具性价比,兼容 PG/Greenplum 开源生态及 Oracle/TD 语法生态; 自研云原生存算分离架构,具备秒级弹性和数据共享等国内领先的产品能力; 具备高吞吐的实时数据加工及分析能力,打造全 SQL 体验的一站式实时数仓;自研高性能的向量检索引擎,助力企业打造丰富 AIGC 应用场景。