《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(上)

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: 《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(上)

四、 总结和展望

2022年以来,数据库迁移上云态势显著提速,相较传统部署的数据库而言,云原生数据库通过存储计算分离,实现资源池化和弹性,具备高扩展性、高可用性、低成本等优势。近年来,云原生数据库在存算分离架构基础上,引入Serverless技术,具备智能弹性扩容能力,能够随着用户业务的请求数的增加和减少,自动“膨胀”和“缩小”,实现资源的智能“吞吐”。2021年SIGMOD大会上,阿里云发表《PolarDB Serverless: A Cloud Native Database for Disaggregated Data Centers》论文,创造性地提出了DDC(Disaggregated Data Centers)架构,实现数据库内计算、内存和存储三层资源解耦,三层资源均可以按需分层弹性,内存层支

持PB级弹性扩展。智能弹性技术的引入,为用户带来更经济的计费模式和更无感的扩容体验,成为云原生数据库技术新趋势。资源池化方面,随着RDMA高速网络和新型内存技术普及,在同一数据中心内,计算、内存和存储资源的三层解耦逐渐从理论走向实际,成为云原生数据库资源管理的新趋势。


(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务

1684815182188.png

客户背景

双十一是阿里巴巴旗下淘宝商城(天猫)的年度促销活动,双十一购物狂欢节从2009年11月11日举办至今经过了十多年的发展,已经成为每年例行的全民购物大狂欢,参与人数也从早期的百万人发展到现在上亿人,成交额从5000万跃进到5000亿。双十一与智能手机、移动互联网的兴起同步,见证了中国经济的蓬勃发展。2020年双十一,PolarDB、AnalyticDB支持了阿里数字经济体内几乎所有BU的业务,承载了集团的菜鸟、新零售供应链、DT数据系列产品、数据银行、生意参谋、人群宝、达摩院店小蜜、AE数据、盒马、天猫营销平台等130多个主要业务。


业务挑战

双十一大促当天,部分商家的优惠活动存在时限性或名额限制,在零点开始的一小时内,大量客户涌入,业务流量会突增数百倍,且在双十一当天,业务流量都远远超出日常访问值。数据库作为大促交易链路的核心环节,为了应对业务流量的突增,对数据库的弹性提出了很高的挑战。针对OLTP场景,传统方式下需要采购大量的服务器资源以支撑双十一流量高峰,数据库整体弹性能力不足,服务器采购周期长,双十一期间无法快速弹性,业务受损。峰值过后资源无法得到释放,大量资源长时间低效运行产生很大的资源浪费,成本高,运营效率低,PolarDB弹性能力,保证高性能同时,大幅降低集团采购成本。针对OLAP场景,AnalyticDB 在双11中,支持了集团的核心交易链路,这对实时高并发写入、在线检索的能力提出了极高的要求。双十一总共超过600亿条订单记录,波峰值达到500万TPS,是日常的100倍。而对于大规模的离线数据的写入链路,压力更是在双11时候更是达到了顶点,以数据银行业务为例,在双11当天,对AnalyticDB的 TPS峰值写到近1000万,写入流量峰值达到1.3GB/s。要这些业务波峰,随之而来的是对数据库资源弹性近乎苛刻的要求。资源必须能够快速部署资源,稳定拓展,稳定高效的承接业务,而在波峰过后,一切资源将随之释放以满足日常负载;



《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(下): https://developer.aliyun.com/article/1223504?groupCode=polardbforpg

相关实践学习
函数计算X RDS PostgreSQL,基于LLM大语言模型构建AI知识库
基于ChatGLM6B 大语言模型构建AI知识库问答应用。答疑群17125058181
相关文章
|
2月前
|
关系型数据库 MySQL Serverless
探索PolarDB MySQL版:Serverless数据库的灵活性与性能
本文介绍了个人开发者对阿里云PolarDB MySQL版,特别是其Serverless特性的详细评测体验。评测涵盖了产品初体验、性能观测、Serverless特性深度评测及成本效益分析等方面。尽管试用过程中遇到一些小问题,但总体而言,PolarDB MySQL版表现出色,提供了高性能、高可用性和灵活的资源管理,是个人开发者和企业用户的优秀选择。
|
5月前
|
数据采集 大数据
大数据实战项目之电商数仓(二)
大数据实战项目之电商数仓(二)
134 0
|
3月前
|
关系型数据库 Serverless 分布式数据库
ICDE’24 | 中国企业首获最佳论文,详解PolarDB Serverless如何在0.5秒内实现跨机迁移
数据库领域顶会 ICDE 2024于5月13-17日在荷兰乌特勒支(Utrecht, Netherlands)举办。ICDE (The International Conference on Data Engineering) 与VLDB、SIGMOD被公认为是国际数据管理领域三大顶级学术会议,此次在荷兰召开的ICDE 2024大会,共吸引北京大学、清华大学、浙江大学、MIT、斯坦福等机构,以及谷歌、微软、阿里云、华为、字节等公司的近1000名人员参会,共同探讨AI、数据库、数据处理领域的前沿技术问题。
|
3月前
|
关系型数据库 Serverless 分布式数据库
揭秘PolarDB Serverless:大促洪峰秒级应对,无感伸缩见证科技魔法!一探云数据库管理的颠覆性革新,强一致性的守护神来了!
【8月更文挑战第13天】在云计算背景下,阿里巴巴的云原生数据库PolarDB Serverless针对弹性伸缩与高性能一致性提供了出色解决方案。本文通过一个电商平台大促活动的真实案例全面测评PolarDB Serverless的表现。面对激增流量,PolarDB Serverless能秒级自动扩展资源,如通过调用`pd_add_reader`快速增加读节点分摊压力;其无感伸缩确保服务平滑运行,不因扩展中断;强一致性模型则保障了数据准确性,即便在高并发写操作下也确保库存等数据的同步一致性。PolarDB Serverless简化了数据库管理,提升了系统效能,是追求高效云数据库管理企业的理想选择。
100 7
|
3月前
|
安全 关系型数据库 MySQL
揭秘:如何在无影的Serverless世界中,悄无声息地操控MySQL数据库!
【8月更文挑战第8天】在云计算领域,Serverless 枟能凭借其高效与弹性特性脱颖而出。本文采用问答形式解析函数计算环境中 MySQL 数据库的安全高效访问方法。介绍了如何利用数据库插件或 SDK 连接 MySQL,并提供了一个使用 Python 和 `pymysql` 在阿里云函数计算中连接 MySQL 的示例代码片段。同时强调了通过环境变量或密钥管理服务安全处理数据库凭证的重要性。随着 Serverless 技术的发展,数据库操作将更加简便。
77 7
|
4月前
|
SQL canal Serverless
Serverless 应用引擎使用问题之每次记录的数据很少,如何不使用外链数据库储存数据
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
4月前
|
开发框架 前端开发 JavaScript
电商商品数据库的设计和功能界面的处理
电商商品数据库的设计和功能界面的处理
|
4月前
|
存储 关系型数据库 Serverless
函数计算产品使用问题之连外部数据库请求特别慢是什么原因导致的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
3月前
|
存储 Serverless API
Serverless 架构实现弹幕场景问题之在initializer方法中初始化数据库实例如何解决
Serverless 架构实现弹幕场景问题之在initializer方法中初始化数据库实例如何解决
29 0
|
4月前
|
关系型数据库 MySQL Serverless
体验阿里云PolarDB MySQL Serverless集群
体验阿里云PolarDB MySQL Serverless集群

相关产品

  • 云原生数据库 PolarDB
  • 下一篇
    无影云桌面