阿里云分布式关系型数据库服务 DRDS

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: DRDS 是阿里巴巴集团自主研发的分布式数据库中间件产品,专注于解决单机关系型数据库扩展性问题,具备轻量(无状态)、灵活、稳定、高效等特性,稳定运行11年,经历历届双十一核心交易业务和各类行业业务的考验

产品简介

DRDS 是一款基于 RDS for MySQL 、采用分库分表技术进行扩展的分布式 OLTP 数据库服务产品,产品目标旨在提升数据存储容量、并发吞吐、复杂计算效率三个方面的扩展性需求。

DRDS 核心能力采用标准关系型数据库技术实现,构建与公共云( cloud native ),配合完善的管控运维及产品化能力,使其具备稳定可靠、高度可扩展、持续可运维、类传统单机 MySQL 数据库体验的特点。

DRDS 在公共云和专有云沉淀多年,历经各界天猫双十一核心交易业务及各行业阿里云客户业务的考验。承载大量用户核心在线业务,横跨互联网、金融&支付、教育、通信、公共事业等多行业,是阿里巴巴集团内部所有在线核心业务及众多阿里云客户业务接入分布式数据库的事实标准。

产品特点

稳定

对于绝大部分应用而言,关系型数据库所承担的职责是整个数据管理系统中最为核心基础的,不光直接影响到终端用户的服务体验,同时也是业务数据的最后一道保险,所以稳定性是数据库最为核心的选型因素。

DRDS 的稳定性建立在对久经考验的 MySQL 合理使用的基础上,单机 MySQL 在高并发、大量数据存储和复杂计算场景下,呈现出相对弱势的状态。

DRDS 将数据拆分到多个 RDS MySQL,使每个 RDS MySQL 承担合适的并发、数据存储和计算负载,各个 RDS MySQL 处于稳定状态,DRDS 层面处理分布式逻辑a,最终得到一个具有稳定可靠、高度扩展性的分布式关系型数据库系统。

相比于全自研分布式 NewSQL 数据库,DRDS 产品始终以持续稳定性和可运维性作为第一要务,同时通过标准数据库技术弥补与单机数据库的体验差异,让用户便捷、快速地上手使用,充分发挥产品的业务价值。

高度可扩展

相比传统单机关系型数据库,DRDS 采用分层架构可确保在并发、计算、数据存储三个方面均可线性扩展,通过增加 DRDS 节点 和 RDS for MySQL 实例达到水平扩展效果。

相比基于分布式存储的新型 cloud native 数据库,理论上 DRDS 的扩展性没有上限,打消业务在快速发展的过程中针对数据库扩展性产生的后顾之忧与运维压力。

持续可运维

关系型数据库对于绝大部分应用而言需要 7 * 24 小时稳定工作,持续可运维是数据库的核心关键能力。

DRDS 在公共云和专有云持续深耕多年,提供丰富的产品化能力及完备的运维体系,通过完整的 OpenAPI 可让业务自行定时与集成。

生命周期管理

  • 实例创建、重启、释放
  • 数据库创建、删除
  • 数据白屏化操作

容量管理

  • 水平拆分、垂直拆分
  • 读写分离
  • 分析型只读实例
  • 并发型只读实例
  • 弹性变配
  • 平滑扩容、热点扩容
  • 拆分变更

安全与审计

  • VPC
  • IP 白名单
  • 账号与权限管理
  • SQL 审计与分析

容灾管理

  • 一体化备份恢复(快速&一致性)
  • SQL 闪回
  • 表回收站
  • 多可用区实例容灾部署

监控告警

  • 自有分层监控
  • 云监控接入与关键指标报警管理

数据生态

  • DTS 数据迁移、同步、订阅
  • 数据集成
  • DMS 数据管理
  • QuickBi 集成
  • 搜索OpenSearch、Elasticsearch
  • 大数据计算与数据仓库

标准类关系型数据库能力

传统关系型数据库具备良好的用户认知和使用习惯,DRDS 采用标准关系型数据库技术实现,在提供分布式扩展能力的基础之上,大幅兼容单机 MySQL 使用体验。

通过 RDS for MySQL 提供稳定的存储支持,DRDS 内核专注于分布式 SQL 层,整个分布式 SQL 层如同大部分单机关系型数据库,分为网络和协议层、SQL 解析层、优化层和执行层。其中优化层包含逻辑优化和物理优化,执行层包含单机两阶段执行、单机并行执行( Parallel Query )和多机并行执行( DAG ),采用多种传统单机数据库优化和执行技术。

与单机数据库不同的是,DRDS 将数据拆分逻辑加入到了 SQL 优化和执行过程中,与其他分布式数据库不同的是,在面向 OLTP 场景时,DRDS 着重关注因分布式而带来的代价,提供了包括自定义数据拆分、算子 move-arround 和 pushdown、join 和 aggregation 的 co-located 优化和计算、分布式事务的处理和优化、分布式全局二级索引、面对远超单机数据容量的外置 DAG 计算等技术。

适用场景

按应用类型选择

DRDS 能够很好的服务面向个人客户、消费者、设备的事务型业务,关注响应时间,SQL 偏向点查点写,具备较高并发特征,类似互联网、移动互联网、互联网+业务(通信、支付&金融、教育、出行、零售餐饮等)有非常好的效果。

针对传统的企业级应用,因为数据不断扩充,急需更强计算能力的在线事务数据库,DRDS 最近两年在复杂 SQL 优化、并行执行、分布式事务等方面进展较大,很好的满足这种诉求,因为天然的数据分片,数据处理并行度效果不错。

DRDS FOR MYSQL

按容量选择

OLTP 业务领域,容量包含并发度、数据存储、复杂 SQL 响应时间 3 个维度。任意一个维度已经出现问题,或者按照业务规划,在不久的未来就会出现。那么 DRDS 是一个合适的选择。

对于业务发展初期选择分布式还是不选择分布式,总会面临很多考量,但是从数据库角度出发来看,业务使用的 SQL、数据类型、事务、索引、其他功能是确定的,对于大部分业务来说,只要 SQL 支持度、数据类型、事务、索引支持比较完整,并且有有效手段在各种极端情况下具备能力扩展,那么这项技术对于业务的未来发展,较低概率存在瓶颈效应,相反,它可能是所有方案中最有生命力的方式。

按成本选择

业务对于数据库的成本考量,分为 3 个部分,

1、业务开发上手使用难度,

2、长期稳定性和性能表现,

3、服务持有成本。

业务开发上手难度过高,往往会导致项目延期,业务效果差强人意。对于一个新型数据库而言,如何有效兼容现有流行数据库使用习惯、功能支持完整度至关重要。DRDS 兼容 MySQL 生态,对于主流的客户端、驱动有着较好兼容性,SQL 兼容层面,已经比较少碰到功能报错问题,业务迅速进行功能对接成为可能。

长期稳定性和性能表现,因为 DRDS 将数据、负载分担到多个 RDS 中,所以面对逐步加大的工作负载,DRDS 相比大规格单机数据库有着更好的稳定性表现,性能表现层面,因为天然分布式,并发表现是其强项,配合单机并行计算、多机 DAG 计算,能够覆盖大部分在线数据的复杂计算需求。

服务持有成本方面,按照相等负载对标其他方案, DRDS 使用相对低配 RDS ,展现出的成本曲线随着 RDS 数量上升,相比其他方案,成本曲线趋向平缓。DRDS 的客户群体中,不乏 1 个 DRDS 下挂载几十个 RDS 实现数据高效存取和计算的需求。

按应用生命周期发展选择

DRDS 除了提供水平拆分能力,也提供了垂直拆分能力,并且应对极端热点,提供热点拆分能力,很好的满足了业务在整个生命周期中对数据库的诉求,可在业务发展的各个阶段切入。每个阶段的转换,DRDS 又提供各项能力保驾护航。

部分 PaaS 能你

产品架构

业务架构

DRDS 在业务构建数据管理体系所处的位置如下图所示, DRDS 承担业务面向在线事务数据存取与计算的诉求,通过数据集成、数据传输产品,和缓存产品、大数据生态配合使用。

DRDS 业务架构图

内核架构

DRDS 使用体验兼容 MySQL 体系 , 采用标准关系型数据库技术实现,并且大幅度增强其适应分布式场景的能力,因为有 MySQL 存储支持,所以 DRDS 内核技术能力展现主要是在分布式 SQL 层。

DRDS 内核架构图

整个分布式 SQL 层如同大部分传统单机关系型数据库,分为网络和协议层、SQL 解析层、优化层和执行层,其中优化层包含逻辑优化和物理优化,执行层包含单机两阶段执行、单机并行执行和多机并行执行,应用了多种传统单机数据库优化和执行技术。

和单机数据库不同的是,DRDS 将数据拆分逻辑加入到了 SQL 优化和执行过程中,并且和其他分布式数据库不同的是,在面向 OLTP 场景时,DRDS 特别关注分布式所带来的代价,提供了包括数据拆分的可定制化(指定拆分字段和算法)、算子 move-arround 和 pushdown 、 join 和 aggregation 的 co-located 优化和计算 、分布式事务的处理和优化、分布式全局二级索引、面对远超单机数据容量的外置 DAG 计算等核心技术。

部署架构

DRDS 服务部署在公有云上,采取多种方式确保生产安全,其中包括

  • 支持 VPC、IP 白名单、非对称账号密码、TLS 等方式,确保数据服务安全
  • 使用独享高性能物理资源、实例间充分隔离、支持多可用区实例,确保数据服务稳定
  • 支撑系统采用多 region 隔离部署、核心数据服务 SLA 与管控 SLA 解绑,确保不出现系统性问题
    DRDS 部署架构图

目前 DRDS 已经在国内大部分 region 部署,并且具备海外输出能力,逐步开放海外各 region , 助力业务区域扩张。

了解更多

分布式关系型数据库服务 DRDS,领军客户实战场景

实例规格

版本说明

上手指南

相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
目录
相关文章
|
9天前
|
NoSQL 关系型数据库 MySQL
阿里云PolarDB游戏场景最佳实践
阿里云PolarDB游戏场景最佳实践涵盖了数据库体系演进、行业优化、Redis解决方案、性能优化、备份还原及全球部署等内容。PolarDB通过共享存储、物理复制等技术提升读扩展和大容量支持,针对游戏行业的高IO需求进行优化,提供秒级备份与快速恢复能力。同时,PolarDB for Redis实现了一写多读架构,支持百TB级别的高性能存储,具备成本优势。该方案已在米哈游等大型游戏中广泛应用,确保了高并发下的稳定性和数据一致性,满足游戏行业的特殊需求。
66 36
|
6天前
|
运维 关系型数据库 分布式数据库
阿里云PolarDB:引领云原生数据库创新发展
阿里云PolarDB引领云原生数据库创新,2024云栖大会将分享其最新发展及在游戏行业的应用。PolarDB凭借弹性、高可用性、多写技术等优势,支持全球80多个站点,服务1万多家企业。特别是针对游戏行业,PolarDB助力Funplus等公司实现高效运维、成本优化和业务扩展。通过云原生能力,PolarDB推动游戏业务的全球化部署与快速响应,提升用户体验并保障数据安全。未来,PolarDB将继续探索AI、多云管理等前沿技术,为用户提供更智能的数据基础设施。
|
13天前
|
关系型数据库 分布式数据库 数据库
1月17日|阿里云云谷园区,PolarDB V2.0技术沙龙,畅聊国产数据库
为了助力国产化项目顺利推进,阿里云邀请企业开发者和数据库负责人到云谷园区,与PolarDB V2.0技术专家面对面交流。扫描海报二维码报名,我们将根据信息为您申请入园。欢迎参与,共同探讨PolarDB的最新技术和应用!
|
26天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
53 4
|
1月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
84 2
|
1月前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
阿里云容器服务ACK提供强大的产品能力,支持弹性、调度、可观测、成本治理和安全合规。针对拥有IDC或三方资源的企业,ACK One分布式云容器平台能够有效解决资源管理、多云多集群管理及边缘计算等挑战,实现云上云下统一管理,提升业务效率与稳定性。
|
28天前
|
人工智能 Cloud Native 关系型数据库
双位数增长,阿里云连续五年领跑关系型数据库
阿里云蝉联中国关系型数据库整体市场份额第一,在公有云业务双位数增长的驱动下,阿里云同时在公有云关系型数据库市场取得了38%的市场份额,连续五年位居首位。
|
2月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
|
3月前
|
存储 边缘计算 城市大脑
阿里云入选Gartner®分布式混合基础设施魔力象限
Gartner正式发布了《分布式混合基础设施魔力象限》(Magic Quadrant™ for Distributed Hybrid Infrastructure),阿里云在入选的中国厂商中于执行能力(纵轴)和愿景完整性(横轴)上均处在最高、最远的位置。