快速体验Cloudberry和APCC

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介: 通过Docker快速体验Cloudberry和APCC

背景介绍:

Cloudberry介绍:

官网链接:

https://cloudberry.incubator.apache.org/

一句话介绍:

摘抄自官网:Apache Cloudberry is an advanced and mature open-source Massively Parallel Processing (MPP) database, derived from the open-source version of the Pivotal Greenplum Database® but built on a more modern PostgreSQL kernel and with more advanced enterprise capabilities. Cloudberry can serve as a data warehouse and can also be used for large-scale analytics and AI/ML workloads.

APCC介绍:

官网链接:

https://www.csudata.com/csu_apcc

一句话介绍:

摘抄自官网:APCC(Analytical Processing Command Center)是一个专为Greenplum数据库和Cloudberry Database集群设计的管理平台,旨在提供高效、便捷的集群管理、监控和扩容功能。通过APCC,用户能够实现对Greenplum数据库和Cloudberry Database的全面控制,从集群的创建、扩容到性能监控,为运维人员和开发者提供了一个高度集成的管理工具。


通过Docker快速体验Cloudberry和APCC

备注:

1、这里我们是在阿里云ECS上部署Cloudberry和APCC,所以后面的部署步骤注意区分命令的执行位置。

2、这里默认大家对ECS的常见操作都能熟练掌握,例如:配置安全组,登陆ECS等。

一、环境准备

安装Docker,这里就不赘述了,网上资料很多,唯一要注意的就是,配置镜像加速,不然获取镜像很慢。

cat /etc/docker/daemon.json
{
  "registry-mirrors": ["https://docker.m.daocloud.io"]
}

二、安装Cloudberry

1、部署Cloudberry

参考链接(仅供参考,具体安装,按照如下命令执行即可):

https://github.com/apache/cloudberry-bootcamp/tree/main/000-cbdb-sandbox

--1、获取部署脚本
git clone -b fix-pax --single-branch  https://github.com/tuhaihe/bootcamp.git

--2、替换cloudberry代码仓库
cat bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9 | grep -i clone
git clone --recurse-submodules --branch main --single-branch --depth=1 https://gitee.com/mirrors_apache/cloudberry.git
        
--默认bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9拉取代码(cloudberry)是从github,有时候会超时拉不下来,
--可以把bootcamp/000-cbdb-sandbox/Dockerfile.main.rockylinux9文件里面的git clone这里的git仓库地址替换成
--https://gitee.com/mirrors_apache/cloudberry.git

--3、执行安装,-m参数的意思是部署分布式的架构,既然玩就部署分布式架构,本质上会启动4个容器
cd bootcamp/000-cbdb-sandbox
./run.sh -c main -m

--4、坐等脚本执行结束就行了

2、启动、访问Cloudberry

image.png

默认启动4个容器,我们登陆master节点容器,cbdb-mdw

docker exec -it cbdb-mdw bash
gpstart -a

3、检查Cloudberry数据库

select * from gp_segment_configuration order by 2;
select now(),gp_execution_dbid() from gp_dist_random('gp_id');

image.png

三、安装APCC

1、部署APCC

参考链接:

https://www.csudata.com/apcc/manual/1.x/10369

部署经验:

1、官方的部署文档非常详细了,而且下载非常丝滑,执行脚本也很丝滑,可以按照如上参考链接先部署
2、【在ECS主机上执行】先部署csubase和csumdb,参考链接如下:
https://www.csudata.com/apcc/manual/1.x/10369
3、【在ECS主机上执行】再部署apcc-server,参考链接如下:
https://www.csudata.com/apcc/manual/1.x/10370
4、【在ECS主机上执行】再部署apcc-agent,参考链接如下:
https://www.csudata.com/apcc/manual/1.x/10371
备注:安装apcc-agent,会让你填写server的IP,这里直接填ECS主机的IP,hostname -i的结果即可。
5、关键地方来了:
我们的Cloudberry部署在Docker容器里面,按道理apcc-agent需要部署到四个cbdb的Docker容器里面才行,所以,我们直接通过docker cp 
的方式,把在ECS上部署生成的目录/opt/apcc-agent、/opt/apcc-agent1.0.0/、/opt/csubase/拷贝到四个cbdb的Docker容器的/opt
目录下即可。
6、apcc-agent的启动命令,登陆4个cbdb的容器,执行如下命令:
sudo /opt/apcc-agent/bin/apcc-agent start
sudo /opt/apcc-agent/bin/apcc-agent status


2、启动、访问APCC

备注:记得ECS安全组先开通8090

默认APCC的监听端口是8090,所以访问http://你的ECS公网IP:8090即可登陆

image.png

默认用户名密码见:https://www.csudata.com/apcc/manual/1.x/10370

登陆第一件事,先改密码,把能改的APCC的用户的密码都改掉。自己辛辛苦苦部署的东西,被攻击了,就很难受了。

3、导入Cloudberry集群

image.png

设置经验:

image.png

集群名称:随便写

是否是IB网络:保持默认,暂时不知道这个是干啥的

master所在主机,只能下拉选择,这里选择cbdb的mdw容器的IP

数据库软件:系统会自动填写

操作系统用户:gpadmin

数据库名称:postgres

数据库端口:5432

数据库用户:gpadmin

数据库用户密码:这里根据自己需要,填gpadmin这个数据库用户的密码,因为部署Cloudberry那步已经可以登陆集群了,一切在把控中,改个密码岂不是随手就来。

填写好以后,就点击下一步,基本没啥问题,有报错,对应解决即可。


扩展阅读

个人感悟:

1、Cloudberry数据库还是很不错的,如果玩过greenplum,上手会非常快。

2、APCC所提供的功能也挺不错的,安装非常丝滑,点一点、看一看,就知道在干嘛,基本所见即所得。

3、此处也欢迎大家关注阿里云ADB PG:

参考链接:https://www.aliyun.com/product/apsaradb/gpdb?spm=5176.29621373.J_AHgvE-XDhTWrtotIBlDQQ.4.49bf7f1e8ABZAX

一句话介绍:

云原生数据仓库 AnalyticDB PostgreSQL 版

企业级能力完备,极具性价比,兼容 PG/Greenplum 开源生态及 Oracle/TD 语法生态; 自研云原生存算分离架构,具备秒级弹性和数据共享等国内领先的产品能力; 具备高吞吐的实时数据加工及分析能力,打造全 SQL 体验的一站式实时数仓;自研高性能的向量检索引擎,助力企业打造丰富 AIGC 应用场景。


祝大家玩的愉快。

目录
相关文章
|
10月前
|
安全 OLAP 数据库
拒绝等待!阿里云瑶池数据库 x Qwen3,构建增强式RAG
阿里云瑶池 Dify on DMS + AnalyticDB 现已支持通义千问 Qwen3 全系列模型的私域部署,并提供独占模型服务,实现高效安全的 GraphRAG 业务应用及大模型应用开发解决方案。
|
9月前
|
SQL 存储 缓存
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
顺丰科技引入 Doris 替换 Presto,在内部可视化数据自助分析工具丰景台场景广泛应用。目前,顺丰临时查询业务、丰景台报表业务的 Presto 场景已经 100% 切换到 Doris 集群中,日均查询量 100W+。并实现 P95 性能提升近 3 倍,硬件资源节省达 48% 显著收益。
286 9
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
|
9月前
|
存储 人工智能 关系型数据库
4年10亿美金,Neon用Serverless PG证明:AI需要的不是“大”,而是“隐形”
AnalyticDB PostgreSQL 版基于Neon架构隆重推出满足 AI 时代应用开发需求的Serverless版本,并且在这之上搭载了结构化分析、向量检索、BM25全文检索和图检索,通过一套引擎满足 AI 应用丰富的数据诉求,支持MCP和OpenAI协议,为企业全面拥抱 AI 配备了数据存储、分析和应用的 “关键” 能力,帮助企业火箭式启动跑赢时代。
|
10月前
|
SQL 弹性计算 关系型数据库
MCP我知道:手搓代码学原理到应用,附讲解视频
MCP火爆异常,目前大量资料介绍了基本概念,与LLM联动这块通常是讲如何集成在Claude、Cursor这些系统,隐藏了其底层细节原理。本文将从0编写client、Server代码、搭建QwQ-32B大模型、接入云数据库,讲解通过联动外围工具来解决LLM“知识茧房”问题。最后总结并展望了MCP未来的发展。
1187 14
MCP我知道:手搓代码学原理到应用,附讲解视频
|
12月前
|
存储 NoSQL 关系型数据库
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
868 2
|
10月前
|
机器人 数据安全/隐私保护
AppFlow:钉钉机器人使用Qwen3自动回复
近期,Qwen3正式发布并开源了8款「混合推理模型」,包括两款MoE模型和六个Dense模型。这些模型已在AppFlow上全面开放调用,支持钉钉、微信等多种渠道使用。本文将详细介绍如何将Qwen3集成到钉钉机器人中,涵盖创建钉钉应用、配置消息卡片、生成连接流以及发布应用版本等步骤,帮助用户快速实现与Qwen3的交互功能。通过简单的配置,您即可在钉钉群聊中与Qwen3进行交流互动。
446 8
AppFlow:钉钉机器人使用Qwen3自动回复
|
10月前
|
人工智能 自然语言处理 搜索推荐
阿里云 AI 搜索开放平台新功能发布:大模型联网能力上线
阿里云 AI 搜索开放平台此次新增了大模型联网能力,通过集成大语言模型(LLM)和联网搜索技术,为用户提供更智能、更全面的搜索体验。
2130 27
|
10月前
|
弹性计算 机器人 应用服务中间件
AppFlow支持Qwen3开源版本调用
近期,Qwen3正式发布并开源全部8款“混合推理模型”,包括两款MoE模型(Qwen3-235B-A22B与Qwen3-30B-A3B)和六个Dense模型。目前,AppFlow已支持上述所有模型调用,您可在钉钉或微信等多渠道使用这些模型满足业务需求。本文将介绍如何配置及集成这些模型至钉钉机器人和企业微信应用中,包括创建应用、设置权限、生成连接流以及配置相关参数的详细步骤。完成配置后,用户可通过钉钉或企业微信直接与Qwen3应用互动交流。
460 6
AppFlow支持Qwen3开源版本调用
|
10月前
|
安全 Java API
JEB Pro v5.28 发布 - 逆向工程平台
JEB Pro v5.28 (macOS, Linux, Windows) - 逆向工程平台
265 6
JEB Pro v5.28 发布 - 逆向工程平台