快速体验Cloudberry和APCC

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 通过Docker快速体验Cloudberry和APCC

背景介绍:

Cloudberry介绍:

官网链接:

https://cloudberry.incubator.apache.org/

一句话介绍:

摘抄自官网:Apache Cloudberry is an advanced and mature open-source Massively Parallel Processing (MPP) database, derived from the open-source version of the Pivotal Greenplum Database® but built on a more modern PostgreSQL kernel and with more advanced enterprise capabilities. Cloudberry can serve as a data warehouse and can also be used for large-scale analytics and AI/ML workloads.

APCC介绍:

官网链接:

https://www.csudata.com/csu_apcc

一句话介绍:

摘抄自官网:APCC(Analytical Processing Command Center)是一个专为Greenplum数据库和Cloudberry Database集群设计的管理平台,旨在提供高效、便捷的集群管理、监控和扩容功能。通过APCC,用户能够实现对Greenplum数据库和Cloudberry Database的全面控制,从集群的创建、扩容到性能监控,为运维人员和开发者提供了一个高度集成的管理工具。


通过Docker快速体验Cloudberry和APCC

备注:

1、这里我们是在阿里云ECS上部署Cloudberry和APCC,所以后面的部署步骤注意区分命令的执行位置。

2、这里默认大家对ECS的常见操作都能熟练掌握,例如:配置安全组,登陆ECS等。

一、环境准备

安装Docker,这里就不赘述了,网上资料很多,唯一要注意的就是,配置镜像加速,不然获取镜像很慢。

cat /etc/docker/daemon.json
{
  "registry-mirrors": ["https://docker.m.daocloud.io"]
}

二、安装Cloudberry

1、部署Cloudberry

参考链接(仅供参考,具体安装,按照如下命令执行即可):

https://github.com/apache/cloudberry-bootcamp/tree/main/000-cbdb-sandbox

--1、获取部署脚本
git clone -b fix-pax --single-branch  https://github.com/tuhaihe/bootcamp.git

--2、替换cloudberry代码仓库
cat bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9 | grep -i clone
git clone --recurse-submodules --branch main --single-branch --depth=1 https://gitee.com/mirrors_apache/cloudberry.git
        
--默认bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9拉取代码(cloudberry)是从github,有时候会超时拉不下来,
--可以把bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9文件里面的git clone这里的git仓库地址替换成
--https://gitee.com/mirrors_apache/cloudberry.git

--3、执行安装,-m参数的意思是部署分布式的架构,既然玩就部署分布式架构,本质上会启动4个容器
cd bootcamp/000-cbdb-sandbox
./run.sh -c main -m

--4、坐等脚本执行结束就行了

2、启动、访问Cloudberry

image.png

默认启动4个容器,我们登陆master节点容器,cbdb-mdw

docker exec -it cbdb-mdw bash
gpstart -a

3、检查Cloudberry数据库

select * from gp_segment_configuration order by 2;
select now(),gp_execution_dbid() from gp_dist_random('gp_id');

image.png

三、安装APCC

1、部署APCC

参考链接:

https://www.csudata.com/apcc/manual/1.x/10369

部署经验:

1、官方的部署文档非常详细了,而且下载非常丝滑,执行脚本也很丝滑,可以按照如上参考链接先部署
2、【在ECS主机上执行】先部署csubase和csumdb,参考链接如下:
https://www.csudata.com/apcc/manual/1.x/10369
3、【在ECS主机上执行】再部署apcc-server,参考链接如下:
https://www.csudata.com/apcc/manual/1.x/10370
4、【在ECS主机上执行】再部署apcc-agent,参考链接如下:
https://www.csudata.com/apcc/manual/1.x/10371
备注:安装apcc-agent,会让你填写server的IP,这里直接填ECS主机的IP,hostname -i的结果即可。
5、关键地方来了:
我们的Cloudberry部署在Docker容器里面,按道理apcc-agent需要部署到四个cbdb的Docker容器里面才行,所以,我们直接通过docker cp 
的方式,把在ECS上部署生成的目录/opt/apcc-agent、/opt/apcc-agent1.0.0/、/opt/csubase/拷贝到四个cbdb的Docker容器的/opt
目录下即可。
6、apcc-agent的启动命令,登陆4个cbdb的容器,执行如下命令:
sudo /opt/apcc-agent/bin/apcc-agent start
sudo /opt/apcc-agent/bin/apcc-agent status


2、启动、访问APCC

备注:记得ECS安全组先开通8090

默认APCC的监听端口是8090,所以访问http://你的ECS公网IP:8090即可登陆

image.png

默认用户名密码见:https://www.csudata.com/apcc/manual/1.x/10370

登陆第一件事,先改密码,把能改的APCC的用户的密码都改掉。自己辛辛苦苦部署的东西,被攻击了,就很难受了。

3、导入Cloudberry集群

image.png

设置经验:

image.png

集群名称:随便写

是否是IB网络:保持默认,暂时不知道这个是干啥的

master所在主机,只能下拉选择,这里选择cbdb的mdw容器的IP

数据库软件:系统会自动填写

操作系统用户:gpadmin

数据库名称:postgres

数据库端口:5432

数据库用户:gpadmin

数据库用户密码:这里根据自己需要,填gpadmin这个数据库用户的密码,因为部署Cloudberry那步已经可以登陆集群了,一切在把控中,改个密码岂不是随手就来。

填写好以后,就点击下一步,基本没啥问题,有报错,对应解决即可。


扩展阅读

个人感悟:

1、Cloudberry数据库还是很不错的,如果玩过greenplum,上手会非常快。

2、APCC所提供的功能也挺不错的,安装非常丝滑,点一点、看一看,就知道在干嘛,基本所见即所得。

3、此处也欢迎大家关注阿里云ADB PG:

参考链接:https://www.aliyun.com/product/apsaradb/gpdb?spm=5176.29621373.J_AHgvE-XDhTWrtotIBlDQQ.4.49bf7f1e8ABZAX

一句话介绍:

云原生数据仓库 AnalyticDB PostgreSQL 版

企业级能力完备,极具性价比,兼容 PG/Greenplum 开源生态及 Oracle/TD 语法生态; 自研云原生存算分离架构,具备秒级弹性和数据共享等国内领先的产品能力; 具备高吞吐的实时数据加工及分析能力,打造全 SQL 体验的一站式实时数仓;自研高性能的向量检索引擎,助力企业打造丰富 AIGC 应用场景。


祝大家玩的愉快。

pacy361
+关注
目录
打赏
0
6
6
0
7
分享
相关文章
体验
该AI大模型解决方案利用NLP和机器学习技术分析客户对话,提升服务质量和客户体验。实践原理清晰,涵盖数据收集、预处理、模型训练等步骤,但建议增加图示以助理解。部署体验中,阿里云提供详尽引导和文档,降低学习成本,问题可快速解决。Python脚本实用,但需注意依赖库和资源限制。方案基本满足对话分析需求,如情感判断、热点提取,特定行业需求需定制开发。改进建议包括提供更多定制选项和集成指南。
69 2
体验理解
本文介绍了通过文档智能和RAG技术将业务文档整合到大语言模型(LLM)知识库中的解决方案。文章涵盖了实践原理理解、部署体验、LLM知识库优势及适用场景等内容。对文档智能流程、RAG技术的应用进行了详细阐述,并提出了技术细节、部署引导、知识库更新和性能优化等方面的改进建议。适用于企业内部知识管理、客户服务和业务流程自动化等多种场景。
121 1
体验心得
OS Copilot 是一款提升编程效率的优秀工具,其清晰的服务器分区便于用户快速定位需求,独特的聊天功能允许与机器人互动。它提供实时代码建议和自动补全,尤其在处理复杂逻辑和重复任务时表现出色。通过理解上下文,它能生成定制化代码,减少错误并节省时间。同时,它能迅速解答技术问题,提供准确的文档和解决方案,是开发者不可或缺的助手。
体验心得
esct体验心得
云服务器,是一种简单高效,处理能力可以弹性伸缩的计算服务。
体验不错
我是一名电子信息工程的本科生,目前是大四在读,想要学习Linux操作系统以及部署自己的项目,在云服务器和虚拟机中反复横跳,最后选择了云服务器,因为阿里云在业界享有盛誉,故选择了阿里云,查找有无学生优惠时了解到了“飞天加速计划·高校学生在家实践”活动,因此参加次实践活动
EXS体验
通过学生认证获得了一台ECS服务器,安装了docker部署微服务项目,在性能方面获得了很好的体验.
254 0
阿里云服务体验有感
本文主要分为三个部分介绍。第一部分,个人情况简介(也希望能和大家做个朋友)。第二部分,使用云ECS小感受。第三部分,未来计划和安排
ChromeOS 体验
ChromeOS 是后发的桌面级操作系统,它的 UI 是现代化的。在诞生之处,ChromeOS 目标是可以在廉价的设备上流畅运行,因此流畅度没有问题。最后,ChromeOS 内核基于 Linux,且系统相对封闭,在专用设备上稳定性应该有所保证(FydeOS for PC 这种无法面向一大类机器的发行版,无法保证稳定性)。 ChromeOS 系统层面,通过虚拟机技术,提供了具有独立内核的 Linux 子系统。 ChromeOS 就是对 Chrome 浏览器的操作系统化的产品,浏览器的体验毋庸置疑。
1083 0

数据库

+关注