如何运维超大体量的数据库集群?阿里巴巴数据库运维最佳实践

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 阿里云数据库出席“2021中国数字服务大会”

今天,由中国计算机学会(CCF)主办,CCF服务计算专业委员会、浙江省湖州市政府等承办的“2021中国数字服务大会(ChinaService 2021)”隆重召开。该会议以“数字服务、跨界融合、协同创新”为主题,为与会代表提供了一个学术交流、成果展示、共享合作的平台。

image.png


阿里云数据库事业部解决方案资深专家李圣陶受邀出席“数字运维服务论坛”,并分享了《阿里巴巴数据库运维最佳实践》。从历史长河来看,阿里集团业务面临三大挑战,超大规模实例集群、超大研发用户群体、双11零点高峰热点。其中,作为全国人民购物狂欢节的双11大促,需要数据库能够支撑复杂度高的交易类型业务。11零点峰值可达到平时百倍压力,对数据库的稳定性要求极高,需要流程丝般顺滑,并且能够按时发射,不准延期等。今天阿里巴巴集团数据库集群已经全部运行在阿里云上,阿里云数据库历经各届双11及行业客户业务的考验,完美支撑了集团超大体量数据库集群的运维,充分发挥出云数据库的技术优势,支持好复杂多变的业务场景并助力集团业务快速发展。


特别是在电商场景中,云原生关系型数据库PolarDB承担云上客户双11核心交易流量,具备大容量高弹性、高性能低时延、安全高可用的特点,结合全球容灾、闪回查询等核心技术,大幅降低数据库使用门槛。云原生分布式数据库 PolarDB-X具备水平扩容、金融级高可用等重要特性,可平稳应对单表数据量过大、业务潮汐,历经各届双11的考验,能有效解决热点数据的高并发更新性能瓶颈,助力业务稳定运行。云原生数据仓库AnalyticDB提供强大的批处理和多维度复杂分析能力,支撑客户包括ETL、CRM及在线报表等多种功能,为电商场景订单、仓储、分销及协同供应链等功能提供有力分析支持,从容应对大促活动。


云原生多模数据库Lindorm可支持海量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,在支持电商场景下高并发用户体验数据存储同时,提供大规模数据的实时分析。在大型促销秒杀系统或者带有计数系统的库存系统,系统整体访问压力巨大,云原生内存数据库Tair可轻松承载读取压力并提供数据持久化。云数据库RDS针对电商秒杀场景进行专项优化,解决热点数据的高并发更新性能瓶颈。通过高安全模式,内置SQL注入检测模块,实时拦截风险SQL,保护数据安全。此外,DMS可实现数据安全防护和开发规范,提供端到端的数据安全防护能力,拥有10万级周活开发者,支持27种数据源,服务24万企业全域数据资产,支持超过65万的数据集成链路,让数据在数据库和数据仓库中无缝流转。


阿里云作为中国唯一的科技厂商成功进入Gartner全球数据库领导者象限,在产品技术领域进展迅猛,获得市场广泛认可,目前已有超过15万个数据库客户迁移到阿里云上,包含政务、零售、金融、电信、制造、物流等多个领域的龙头企业。

目录
打赏
0
0
0
0
9
分享
相关文章
Redis 逻辑数据库与集群模式详解
Redis 是高性能内存键值数据库,广泛用于缓存与实时数据处理。本文深入解析 Redis 逻辑数据库与集群模式:逻辑数据库提供16个独立存储空间,适合小规模隔离;集群模式通过分布式架构支持高并发和大数据量,但仅支持 database 0。文章对比两者特性,讲解配置与实践注意事项,并探讨持久化及性能优化策略,助你根据需求选择最佳方案。
31 5
数据库数据删除策略:硬删除vs软删除的最佳实践指南
在项目开发中,“删除”操作常见但方式多样,主要分为硬删除与软删除。硬删除直接从数据库移除数据,操作简单、高效,但不可恢复;适用于临时或敏感数据。软删除通过标记字段保留数据,支持恢复和审计,但增加查询复杂度与数据量;适合需追踪历史或可恢复的场景。两者各有优劣,实际开发中常结合使用以满足不同需求。
24 4
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
【YashanDB知识库】OM仲裁节点故障后手工切换方案和yasom仲裁重新部署后重新纳管数据库集群方案
本文介绍了主备数据库集群的部署、OM仲裁故障切换及重新纳管的全过程。首先通过解压软件包并调整安装参数完成数据库集群部署,接着说明了在OM仲裁故障时的手动切换方案,包括关闭自动切换开关、登录备节点执行切换命令。最后详细描述了搭建新的yasom仲裁节点以重新纳管数据库集群的步骤,如生成配置文件、初始化进程、执行托管命令等,确保新旧系统无缝衔接,保障数据服务稳定性。
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
37 0
深度学习在数据库运维中的作用与实现
深度学习在数据库运维中的作用与实现
115 14
崖山数据库YashanDB的共享集群机制初探
YashanDB共享集群是崖山数据库系统的核心特性,支持单库多实例并发读写,确保强一致性与高可用性。基于Shared-Disk架构和Cohesive Memory技术,实现数据页协同访问及资源控制。其核心组件包括YCK、YCS和YFS,提供金融级RPO=0、RTO<10秒的高可用能力。通过自研“七种武器”(如页内锁、去中心化事务管理等),优化性能并解决读写冲突。相比Oracle RAC,YashanDB在TPC-C测试中性能高出30%,适用于金融、电信等关键领域,推动国产化替代进程。
崖山数据库YashanDB的共享集群机制初探
自研一款共享集群数据库,有多难?
共享集群数据库管理系统是一种单库多实例的多活数据库管理系统,用户连接任意实例都可以访问同一个数据库,具备透明多写、高可用、高性能等特性。共享集群技术因其开发难度高,一直被国外垄断,也被称为数据库领域的“塔尖”技术。
云栖实录 | 智能运维:云原生大规模集群GitOps实践
云栖实录 | 智能运维:云原生大规模集群GitOps实践

数据库

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等