《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(上)

简介: 《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(上)

四、 总结和展望

2022年以来,数据库迁移上云态势显著提速,相较传统部署的数据库而言,云原生数据库通过存储计算分离,实现资源池化和弹性,具备高扩展性、高可用性、低成本等优势。近年来,云原生数据库在存算分离架构基础上,引入Serverless技术,具备智能弹性扩容能力,能够随着用户业务的请求数的增加和减少,自动“膨胀”和“缩小”,实现资源的智能“吞吐”。2021年SIGMOD大会上,阿里云发表《PolarDB Serverless: A Cloud Native Database for Disaggregated Data Centers》论文,创造性地提出了DDC(Disaggregated Data Centers)架构,实现数据库内计算、内存和存储三层资源解耦,三层资源均可以按需分层弹性,内存层支

持PB级弹性扩展。智能弹性技术的引入,为用户带来更经济的计费模式和更无感的扩容体验,成为云原生数据库技术新趋势。资源池化方面,随着RDMA高速网络和新型内存技术普及,在同一数据中心内,计算、内存和存储资源的三层解耦逐渐从理论走向实际,成为云原生数据库资源管理的新趋势。


(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务

1684815182188.png

客户背景

双十一是阿里巴巴旗下淘宝商城(天猫)的年度促销活动,双十一购物狂欢节从2009年11月11日举办至今经过了十多年的发展,已经成为每年例行的全民购物大狂欢,参与人数也从早期的百万人发展到现在上亿人,成交额从5000万跃进到5000亿。双十一与智能手机、移动互联网的兴起同步,见证了中国经济的蓬勃发展。2020年双十一,PolarDB、AnalyticDB支持了阿里数字经济体内几乎所有BU的业务,承载了集团的菜鸟、新零售供应链、DT数据系列产品、数据银行、生意参谋、人群宝、达摩院店小蜜、AE数据、盒马、天猫营销平台等130多个主要业务。


业务挑战

双十一大促当天,部分商家的优惠活动存在时限性或名额限制,在零点开始的一小时内,大量客户涌入,业务流量会突增数百倍,且在双十一当天,业务流量都远远超出日常访问值。数据库作为大促交易链路的核心环节,为了应对业务流量的突增,对数据库的弹性提出了很高的挑战。针对OLTP场景,传统方式下需要采购大量的服务器资源以支撑双十一流量高峰,数据库整体弹性能力不足,服务器采购周期长,双十一期间无法快速弹性,业务受损。峰值过后资源无法得到释放,大量资源长时间低效运行产生很大的资源浪费,成本高,运营效率低,PolarDB弹性能力,保证高性能同时,大幅降低集团采购成本。针对OLAP场景,AnalyticDB 在双11中,支持了集团的核心交易链路,这对实时高并发写入、在线检索的能力提出了极高的要求。双十一总共超过600亿条订单记录,波峰值达到500万TPS,是日常的100倍。而对于大规模的离线数据的写入链路,压力更是在双11时候更是达到了顶点,以数据银行业务为例,在双11当天,对AnalyticDB的 TPS峰值写到近1000万,写入流量峰值达到1.3GB/s。要这些业务波峰,随之而来的是对数据库资源弹性近乎苛刻的要求。资源必须能够快速部署资源,稳定拓展,稳定高效的承接业务,而在波峰过后,一切资源将随之释放以满足日常负载;



《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(下): https://developer.aliyun.com/article/1223504?groupCode=polardbforpg

相关文章
|
分布式计算 Serverless OLAP
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。
实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
|
关系型数据库 MySQL Serverless
探索PolarDB MySQL版:Serverless数据库的灵活性与性能
本文介绍了个人开发者对阿里云PolarDB MySQL版,特别是其Serverless特性的详细评测体验。评测涵盖了产品初体验、性能观测、Serverless特性深度评测及成本效益分析等方面。尽管试用过程中遇到一些小问题,但总体而言,PolarDB MySQL版表现出色,提供了高性能、高可用性和灵活的资源管理,是个人开发者和企业用户的优秀选择。
|
存储 缓存 分布式计算
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
|
SQL 分布式计算 容灾
实时数仓Hologres V2.2发布,Serverless Computing降本20%
实时数仓Hologres V2.2发布,Serverless Computing降本20%
230 0
实时数仓Hologres V2.2发布,Serverless Computing降本20%
|
数据挖掘 OLAP BI
OLAP技术:数据分析的修仙秘籍初探
OLAP(联机分析处理)是一种多维数据分析技术,能够从不同角度洞察数据,揭示隐藏的趋势和模式。它最早由Edgar F. Codd在1993年提出,旨在弥补传统OLTP系统的不足,支持复杂的数据分析与决策支持。OLAP操作包括钻取、上卷、切片、切块和旋转等,帮助用户灵活地探索数据。广泛应用于财务报告、市场分析、库存管理和预测分析等领域,是现代商业智能的重要工具。
508 7
|
存储 关系型数据库 MySQL
【阿里规约】阿里开发手册解读——数据库和ORM篇
从命名规范、建表规范、查询规范、索引规范、操作规范等角度出发,详细阐述MySQL数据库使用过程中所需要遵循的各种规范。
【阿里规约】阿里开发手册解读——数据库和ORM篇
|
关系型数据库 Serverless 分布式数据库
揭秘PolarDB Serverless:大促洪峰秒级应对,无感伸缩见证科技魔法!一探云数据库管理的颠覆性革新,强一致性的守护神来了!
【8月更文挑战第13天】在云计算背景下,阿里巴巴的云原生数据库PolarDB Serverless针对弹性伸缩与高性能一致性提供了出色解决方案。本文通过一个电商平台大促活动的真实案例全面测评PolarDB Serverless的表现。面对激增流量,PolarDB Serverless能秒级自动扩展资源,如通过调用`pd_add_reader`快速增加读节点分摊压力;其无感伸缩确保服务平滑运行,不因扩展中断;强一致性模型则保障了数据准确性,即便在高并发写操作下也确保库存等数据的同步一致性。PolarDB Serverless简化了数据库管理,提升了系统效能,是追求高效云数据库管理企业的理想选择。
376 7
|
安全 关系型数据库 MySQL
揭秘:如何在无影的Serverless世界中,悄无声息地操控MySQL数据库!
【8月更文挑战第8天】在云计算领域,Serverless 枟能凭借其高效与弹性特性脱颖而出。本文采用问答形式解析函数计算环境中 MySQL 数据库的安全高效访问方法。介绍了如何利用数据库插件或 SDK 连接 MySQL,并提供了一个使用 Python 和 `pymysql` 在阿里云函数计算中连接 MySQL 的示例代码片段。同时强调了通过环境变量或密钥管理服务安全处理数据库凭证的重要性。随着 Serverless 技术的发展,数据库操作将更加简便。
418 7
|
关系型数据库 OLAP 分布式数据库
揭秘Polardb与OceanBase:从OLTP到OLAP,你的业务选对数据库了吗?热点技术对比,激发你的选择好奇心!
【8月更文挑战第22天】在数据库领域,阿里巴巴的Polardb与OceanBase各具特色。Polardb采用共享存储架构,分离计算与存储,适配高并发OLTP场景,如电商交易;OceanBase利用灵活的分布式架构,优化数据分布与处理,擅长OLAP分析及大规模数据管理。选择时需考量业务特性——Polardb适合事务密集型应用,而OceanBase则为数据分析提供强大支持。
5521 2
|
SQL canal Serverless
Serverless 应用引擎使用问题之每次记录的数据很少,如何不使用外链数据库储存数据
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。

相关产品

  • 云原生数据库 PolarDB