开发者社区 > 数据库 > 数据仓库 > 正文

云原生数据仓库AnalyticDB里用同规格的ADB, 节点数量和存储容量应该怎么设置?

云原生数据仓库AnalyticDB里之前用两台32C125G2T的服务器搭的greenplum,Primary和Mirror一共32个Segment情况下 换用同规格的ADB, 节点数量和存储容量应该怎么设置?lQLPJwXN9mtcELrNBXbNCtqw5PlAerQpaDkEU_u-vIAVAA_2778_1398.png

展开
收起
三分钟热度的鱼 2023-05-15 10:35:55 490 0
5 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云云原生数据仓库 AnalyticDB 中,你可以选择通过添加 ADB 节点来扩容存储容量和计算能力。在添加节点时,你可以根据实际需要选择节点数量和存储容量。以下是一些考虑因素以及一些建议:

    1. 存储容量:AnalyticDB 集群的存储容量决定了集群可以存储的数据量。如果你需要存储更多的数据,那么需要增加存储容量。AnalyticDB 提供了多种存储容量规格,可以根据业务数据的大小和增长速度进行选择。如果你对数据大小和增长速度不确定,建议选择较大的存储容量规格,以便后续扩容。

    2. 节点数量:AnalyticDB 集群的节点数量决定了集群的计算能力。如果你需要处理更大的数据集或者需要更快的查询响应时间,那么需要增加计算节点数量。在同规格的 ADB 中,如果你希望获得更好的计算性能,那么可以增加节点数量。

    3. 平衡计算和存储:在选择节点数量和存储容量时,需要考虑计算和存储之间的平衡。如果你的工作负载需要更多的计算能力,那么可以增加节点数量;如果你的工作负载需要更多的存储容量,那么可以增加存储容量。

    你可以根据实际需要选择 AnalyticDB 集群的节点数量和存储容量。如果你对未来的存储容量和计算需求不确定,可以选择较大的规格,以便后续扩容。在添加节点或者扩容时,需要考虑业务负载和系统稳定性,避免影响生产环境的正常工作。

    2023-05-23 12:00:52
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    在将 Greenplum 迁移至 AnalyticDB 时,由于 AnalyticDB 与 Greenplum 的架构存在差异,您需要重新规划AnalyticDB集群的节点数量及存储容量。建议按以下步骤进行:

    1. 定义目标集群的节点规格和数量:根据目前磁盘容量和工作负载情况,您可以通过考虑每个节点的 CPU、内存和磁盘来确定大约需要多少个节点。建议根据数据大小和负载来选择适当的节点规格。

    2. 定义目标集群的存储容量:您可以通过计算源 Greenplum 集群的数据大小来确定目标集群的存储容量。在 AnalyticDB 中,每个节点都具有相同的存储容量,您需要根据实际情况确定节点数量和存储容量。

    3. 将 Greenplum 存储的数据迁移至 AnalyticDB:您需要将 Greenplum 存储的数据从现有的存储位置迁移到 AnalyticDB 中。官方提供的数据迁移工具可帮助您将数据从 Greenplum 迁移到 AnalyticDB 中。

    基于上述建议,如果您的两台 Greenplum 服务器中每台有 32 个 Segment,则您需要首先确定 AnalyticDB 集群的节点数量和存储容量,然后使用数据迁移工具将 Greenplum 存储的数据迁移到 AnalyticDB 中。建议根据实际情况,选择 24 至 32 个节点,并根据每个节点的磁盘容量来计算 AnalyticDB 集群的总存储容量。

    2023-05-15 17:14:26
    赞同 展开评论 打赏
  • 热爱开发

    AnalyticDB (ADB) 是一种云原生的分布式数据仓库服务,支持PB级别的数据存储和PB级别的数据查询能力。相比于Greenplum,ADB具有更高的性能、更好的可扩展性,同时也更为易用。

    根据您提供的情况,对于两台32C125G2T的服务器搭建的Greenplum,如果Primary和Mirror一共32个Segment,则可以参考以下两种方案来进行迁移:

    (1) 与当前配置保持相同的节点数量和存储容量

    如果您希望保持与之前Greenplum相同的节点数量和存储容量,那么在使用ADB时,您可以选择在控制台上创建一个包含32个节点的集群,每个节点的规格为32C125G2T,存储容量为2T。这样就可以基本达到与之前所使用Greenplum相同的计算能力和存储容量了。

    (2) 提升节点数量或存储容量

    如果您需要更高的计算能力或更大的存储容量,可以考虑调整ADB集群中节点数量或存储容量的设置。以提升系统的性能。

    总之,具体的配置方案还要根据您的实际需求来定,建议您根据业务需求和数据规模来选择合适的配置。

    2023-05-15 15:10:07
    赞同 展开评论 打赏
  • 对于这个问题,需要先了解 AnalyticDB for PostgreSQL(简称 ADB) 的节点规格和存储容量。ADB的节点规格包括 CPU、内存和存储容量,例如8c128G为8核心128G内存, 32C125G2T的服务器应该是32核心、125G内存和2T硬盘容量。

    对于要从 Greenplum 迁移到 ADB 的情况,可以根据以下建议设置 ADB 的节点数和存储容量:

    1. 根据数据量确定节点数

    根据存储容量和数据量的比例,大致估算出需要的节点数。如果 Greenplum 中已经存在32个 Segment,可以在 ADB 中设置相似数量的节点。注意,节点数不应该设置过多,否则会降低性能和增加维护成本。

    1. 设置合适的存储容量

    ADB 采用了列式存储引擎,性能和存储容量的关系较小,但是存储容量仍然是需要考虑的因素。根据磁盘存储容量和数据量的比例,估算出每个节点的存储容量。如果磁盘存储容量很大,可以设置比32C125G2T更大容量的节点。

    总之,在迁移Greenplum至ADB时,需要根据数据量和业务需求,合理规划ADB的节点数和存储容量,并综合考虑成本和性能等因素。建议在实际迁移前进行充分的测试和验收。

    2023-05-15 11:24:44
    赞同 展开评论 打赏
  • 针对您的问题,我可以给出以下建议:

    1. 关于节点数量:AnalyticDB是一款云原生数据仓库,采用分布式存储架构,因此在节点数量上建议根据具体的数据量和查询压力进行设置。您可以参考阿里云文档中的建议,例如对于较大的数据量和查询压力,建议采用分布式存储环境并创建多个节点。

    2. 关于存储容量:您提到的实例的数据量为660537344字节,约等于630G。因此,在选择存储容量时,建议针对当前的数据量和预期的未来增长进行估算。同时,AnalyticDB提供了弹性扩容和缩容的功能,您可以根据实际需求随时进行调整。

    3. 关于性能:目前您没有提供足够的信息来评估实例的性能。但是,AnalyticDB支持高可用、自动扩展、数据分片、列存储等特性,以支持高速查询和分析。如果您遇到性能问题,建议参考官方文档,分析带宽、查询量、压力测试等方面,找出瓶颈所在。

    4. 关于节点规格:节点规格的选择也应根据具体情况进行。例如,选择计算资源和内存资源比较丰富的规格可以提高查询性能、加快数据加载速度。在配置节点时,建议考虑实例整体性能以及节点间的协调性,选择合适的规格来达到较好的性价比。

    总之,具体的节点规格、存储容量和数量等需根据实际情况,按照业务需求和预期性能作出相应的合理选择。

    2023-05-15 10:43:51
    赞同 展开评论 打赏

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

相关产品

  • 云原生数据仓库AnalyticDB MySQL版
  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 相关电子书

    更多
    基于阿里云MaxCompute 构建企业云数据仓库CDW的最佳实践建议 立即下载
    PostgresChina2018_陶征霖_新一代数据仓库OushuDB架构剖析 立即下载
    MaxCompute数据仓库数据转换实践 立即下载