【实操系列】 AnalyticDB PostgreSQL发布实例暂停功能,助力成本优化

简介: 本文将对AnalyticDB PostgreSQL产品的暂停功能以及其背后的实现机制和最佳实践做详细介绍。

背景

在传统数仓中,往往采用资源预购的方式,缺少面向业务的资源调整灵活性。 在数据分析这种存在明显业务波峰波谷或分时请求的场景下,实例无法按需使用,造成了大量成本浪费。

云原生数仓AnalyticDB PostgreSQL产品自2022年2月正式发布了Serverless版之后,依托于内核强大的资源管理能力和面向云原生的管控系统,推出了Serverless实例计算暂停能力,并实现了秒级计费的改造和暂停期间计算资源免费。 这个能力为客户在计算空闲时期提供了大幅节约成本的能力,在以下场景中,效果明显:

  • 数据周期性归档: 可通过api进行启动和暂停,在归档结束后,可立即暂停;仅在偶发分析和归档期间进行计算使用,高效的节省归档成本,节省近80% 的使用成本;
  • 低成本POC测试: 用户不再需要对测试过程中的实例进行频繁释放,使用实例启停可降低近80%以上的POC成本,用户若在一周期内进行密集使用,则倾向于进行暂停从而简化每次初始化的复杂度,提升POC效率。


产品文档:https://help.aliyun.com/document_detail/445111.html


功能

实例暂停

支持用户通过控制台或者OpenAPI的方式对实例进行暂停或启动。在实例暂停中,我们会暂停用户实例的计算资源,并不再对计算进行任何收费,同时这个暂停不会影响实例的数据存储以及网络链接串;可实现启动后无需任何改动即可继续使用。


事件中心和告警

对暂停和启动相关的事件,提供了面向用户完整通知,告警和审计的流程; 用户可在控制台的事件中心中查阅手动启动、手动停止、计划启动、计划停止、扩缩容等操作进行事件侧展示。同时用户可根据这些事件配置云监控报警,及时追踪启停效果。


秒级计费

实例暂停时,只收取存储费用,不收取计算资源费用。为了保证更精确的使用统计,我们对底层的计费服务进行了改造,计费服务会实时感知实例启动和停止事件,按照秒级精度计算真正使用时长,然后按小时出账单。


技术架构

启停架构

用户可以通过控制台或直接使用OpenAPI触发实例启停,业务控制器会管理各项资源的生命周期,并以事件驱动秒级计量计费和事件告警。

image.png


资源生命周期管理

计算资源

实例运行在k8s上,涉及Pod优雅停止和新建、调度、pod信息重建:

  • 不直接依赖Pod的GraceTerminating来杀死实例,通过内核单独的操作来优雅Kill session,保护用户SQL请求;
  • 保留了完整的管控元数据,通过“申请临时实例,交换OwnerReference”的方式重建Pod;
  • 在资源池容量不够导致再次申请资源失败的情况,通过告警处理,保证5min完成资源扩容;

网络资源

在原生的k8s里,网络资源往往和Pod生命周期一致,随着Pod销毁而释放。有状态服务强依赖IP的场景下,社区大多采用IPPool的来实现IP保持,我们采用类似的将ENI和Pod关系一一对应的方式,单独管理ENI的保留和复用,保证:

  • 内核和链路使用原有IP,加速恢复启动时间;
  • Hold IP资源,防止耗尽导致恢复实例失败;

存储资源

包含用户数据、缓存数据、备份数据三部分。其中用户数据使用云盘或OSS存储,我们将保留复用;缓存可以释放,减少资源浪费;关于备份数据,我们将定期(典型的为7天)清理的策略改为保留最后一份备份集,这样实例在恢复启动时,还可以使用暂停前的备份数据,保障数据可靠性。


事件管理

在云原生生态里,可以看到越来越多的控制器基于事件驱动实现,我们也采用类似方案,采用阿里SLS作为CloudEvent通道,实现:

  • 秒级计费:基于启停事件计算各资源真正的使用时长;
  • 事件通知:提供了OpenAPI接口,并在控制台进行了可视化展示,做到可跟踪、可解释;
  • 云监控告警:用户可通过云监控,设置短信、电话、邮件、webhook等告警配置;


最佳实践

用户在购买一个Serverless实例后,可根据以下操作完成对实例的暂停和启动,并可在账单处见到所对应的计算资源使用账单;

提示: 目前Serverless 仅有按量付费支持暂停,包年包月由于资源预购,故暂停无显著效果;

点击购买Serverless实例 按量付费试用


手动暂停实例

登陆云原生数仓AnalyticDB PostgreSQL产品控制台,进入实例列表页面,在要暂停的实例的更多操作里,点击"暂停实例":

image.png

或者在实例详情页,通过"实例管理" -> "暂停实例":

image.png

下发任务后,实例会变成暂停中状态,大约2min后,实例变为已暂停状态:

image.png


手动启动实例

在实例详情页,通过"实例管理" -> "启动实例":

image.png


启停事件的查看和配置告警

在云原生数仓AnalyticDB PostgreSQL产品控制台的事件中心,通知事件类别里可查看所有的启停事件:

image.png

通过"配置告警"链接,可跳转到云监控页面,我们帮助用户自动填写了默认参数,可配置电话、短信、邮件

、webHook等报警信息:

image.png

OpenAPI

除了通过控制台,我们还提供了OpenAPI的方式操作启停;

暂停实例:

http(s)://gpdb.aliyuncs.com/?Action=PauseInstance
&DBInstanceId=gp-bp***************
&公共请求参数

启动实例:

http(s)://gpdb.aliyuncs.com/?Action=ResumeInstance
&DBInstanceId=gp-bp***************
&公共请求参数

Java SDK:

<dependency>
  <groupId>com.aliyun</groupId>
  <artifactId>gpdb20160503</artifactId>
  <version>1.0.25</version>
</dependency>

结束语

降本增效一直是客户和我们共同的目标。借助云的技术和自研的产品内核,我们得以提供高性价比的产品,让实例真正可以按需使用,按量付费。同时我们也十分注重用户体验,力求在便利性、功能完善度等方面做的更好,对实例的暂停和启动时间,在几分钟即可完成,做到了暂停和按需拉起无负担,让云上的技术红利进一步帮助企业增效降本。


相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
1339 1
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
|
监控 关系型数据库 数据库
PostgreSQL的索引优化策略?
【8月更文挑战第26天】PostgreSQL的索引优化策略?
752 1
|
固态存储 关系型数据库 数据库
从Explain到执行:手把手优化PostgreSQL慢查询的5个关键步骤
本文深入探讨PostgreSQL查询优化的系统性方法,结合15年数据库优化经验,通过真实生产案例剖析慢查询问题。内容涵盖五大关键步骤:解读EXPLAIN计划、识别性能瓶颈、索引优化策略、查询重写与结构调整以及系统级优化配置。文章详细分析了慢查询对资源、硬件成本及业务的影响,并提供从诊断到根治的全流程解决方案。同时,介绍了索引类型选择、分区表设计、物化视图应用等高级技巧,帮助读者构建持续优化机制,显著提升数据库性能。最终总结出优化大师的思维框架,强调数据驱动决策与预防性优化文化,助力优雅设计取代复杂补救,实现数据库性能质的飞跃。
2189 0
|
存储 消息中间件 运维
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ,拥有超百台集群节点,个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ,招联金融在多场景中均有显著的收益,比如标签关联计算效率相较之前有 6 倍的提升,同等规模数据存储成本节省超 2/3,真正实现了降本提效。
894 11
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
|
缓存 关系型数据库 数据库
如何优化 PostgreSQL 数据库性能?
如何优化 PostgreSQL 数据库性能?
946 2
|
监控 关系型数据库 数据库
如何优化PostgreSQL的性能?
【8月更文挑战第4天】如何优化PostgreSQL的性能?
1085 7
|
关系型数据库 MySQL OLAP
快速入门:搭建你的第一个AnalyticDB实例
【10月更文挑战第25天】在大数据时代,高效的在线分析处理(OLAP)成为企业决策的关键。AnalyticDB是阿里云推出的一款完全托管的实时数据仓库服务,它能够支持PB级的数据量和高并发的查询需求。作为一名数据工程师,我有幸在工作中使用了AnalyticDB,并积累了丰富的实践经验。本文将从个人角度出发,详细介绍如何快速搭建你的第一个AnalyticDB实例,包括创建实例、连接数据库、导入数据和执行简单查询等步骤。
791 0
|
Dragonfly Docker 容器
实时数仓Hologres容器镜像问题之优化私有化部署如何解决
容器镜像常遇问题包括:将过多组件打包至单一容器、使用systemd导致状态不一致、私有部署中传输未优化的镜像包及基础镜像频繁下发致网络拥堵。应采用轻量化基础镜像,明确镜像版本,并利用镜像层复用来优化。[了解更多](https://developer.aliyun.com/ask/666077)。 避免容器臃肿的方法是选用精简基础镜像,固定镜像版本,并通过镜像层复用来减少重复内容,实现高效部署。[查看详情](https://developer.aliyun.com/ask/666078)。
710 0
|
存储 数据库 数据安全/隐私保护
实时数仓 Hologres产品使用合集之如何进行同一个实例不同库之间的数据迁移
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

热门文章

最新文章

相关产品

  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 云数据库 RDS PostgreSQL 版
  • 推荐镜像

    更多