Aurora要解决的是什么问题?

简介: Aurora要解决的是什么问题? 实际上它认为网络是瓶颈 ( Paper里的原话我附在最后边),该文就是要解决这个瓶颈。

  Aurora要解决的是什么问题? 实际上它认为网络是瓶颈 ( Paper里的原话我附在最后边),该文就是要解决这个瓶颈。 为什么网络是瓶颈?

  在Aurora的模型中,只有一个写者(Primary Instance),这个也很重要。

  假设用户随机插入一条1KB的记录(与近期写的其他记录不在一个page),我们分析下它引起的网络写的数据量:

  1) 6副本,即6倍写数据传输;

  2) 即使忽略binlog和double write,只考虑写redo log和一个16 KB的page。 至少17KB (17倍)网络传输量。

  注意,二者是乘法关系,即17 * 6 = 102倍。如果用户写的记录更小,那么倍数更高。

  考虑25Gbit/s 的以太网,实际的用户数据传输能力不会超过 3GByte/s。

  那么: 3GB/s 除以 102 <= 30 MB/s。

  按照这个模式,假设写者有一个25GbE的网口,用户数据写性能不会超过30MB/s。

  如果在考虑跨AZ,AZ间带宽更是个问题(AZ间带宽不是Aurora独占的)。

  当然实际情况可能没那么遭,不会都是随机插入。但是当数据库规模巨大时,应该不会有太好的局部性。另外,用户写的记录也可能远小于1KB。

  如果不复制page,只复制redo log,让存储节点自己apply redo log产生page data,大家可以算下倍数。

  至于Aurora为什么觉得后端存储不是瓶颈,那是因为它认为存储节点可以大量扩展,每个节点承载的负载并不高。而写者就一个哦。

目录
相关文章
|
3天前
|
关系型数据库 分布式数据库 数据库
VLDB顶会论文解读 | PolarDB MySQL高性能强一致集群核心技术详解
在VLDB2023会议上,阿里云瑶池数据库团队的论文介绍了PolarDB-SCC,这是一个创新的云原生数据库系统,确保了低延迟的全局强一致读取。PolarDB-SCC解决了传统主从架构中只读节点可能返回过期数据的问题,实现了在不影响性能的情况下提供强一致性。通过重新设计的主从信息同步机制、线性Lamport时间戳和细粒度修改跟踪,以及利用RDMA优化的日志传输,PolarDB-SCC已经在PolarDB中成功应用超过一年,成为业界首个无感知全局一致性读的云原生数据库解决方案。
|
8月前
|
关系型数据库 分布式数据库 数据库
VLDB顶会论文解读|PolarDB MySQL高性能强一致集群核心技术详解
论文中,PolarDB-SCC提出了一个全局强一致的主从架构的云原生数据库。目前该架构已在PolarDB架构中上线一年有余,是业内首个在业务无感知情况下实现全局一致性读的主从架构云原生数据库,解决了一直以来海量客户的一致性痛点。
|
12月前
|
SQL JSON 缓存
「云数据仓库架构」Redshift,Snowflake,Azure,Presto和BigQuery
「云数据仓库架构」Redshift,Snowflake,Azure,Presto和BigQuery
|
存储 监控 Cloud Native
云原生数据库-Amazon RDS
云原生数据库-Amazon RDS
136 0
云原生数据库-Amazon RDS
|
存储 SQL NoSQL
数据库的新选择 Amazon Aurora(上)
文章目录 Amazon Aurora 云计算时代 关系型数据库如何实现进化? Amazon Aurora 是 MySQL 的五倍性能 细看PolarDB PolarDB 与 Aurora 设计理念如出一辙 PolarDB 性能真的比 Aurora 高吗? 数据库的重新构想 卸载REDO日志:日志即数据库
373 0
数据库的新选择 Amazon Aurora(上)
|
存储 关系型数据库 MySQL
数据库的新选择 Amazon Aurora(下)
文章目录 Amazon Aurora 云计算时代 关系型数据库如何实现进化? Amazon Aurora 是 MySQL 的五倍性能 细看PolarDB PolarDB 与 Aurora 设计理念如出一辙 PolarDB 性能真的比 Aurora 高吗? 数据库的重新构想 卸载REDO日志:日志即数据库
133 0
数据库的新选择 Amazon Aurora(下)
|
存储 SQL 关系型数据库
数据库的新选择 Amazon Aurora(中)
文章目录 Amazon Aurora 云计算时代 关系型数据库如何实现进化? Amazon Aurora 是 MySQL 的五倍性能 细看PolarDB PolarDB 与 Aurora 设计理念如出一辙 PolarDB 性能真的比 Aurora 高吗? 数据库的重新构想 卸载REDO日志:日志即数据库
176 0
数据库的新选择 Amazon Aurora(中)
|
存储 JSON 关系型数据库
【AWS系列】什么是DynamoDB
1. Truncate 操作:DynamoDB不支持 Truncate操作,最简单的办法是删表重建即可;如果需要删掉一部分数据,可以写脚本用scan 查出 PK 的列表逐个进行删除;还可以设置表的过期时间,让这批数据定期失效即可。2. JavaScript 有两个类库:一种使用了 DynamoDB Json其中包括了数据的类型,需要调用相关的marshal 和 unmarshal方法来转换成标准的 Json3.批量操作:DynamoDB 中批量操作有25 的数据量。
318 0
【AWS系列】什么是DynamoDB
|
存储 Cloud Native 关系型数据库
数据库风向标第七期:PolarDB for MySQL 云原生多主架构解读
杨文锋(高见):阿里云数据库高级产品专家,多年数据库相关运维和产品经验,现负责PolarDB for MySQL的产品管理、方案设计和特性规划工作。 章颖强(江疑):阿里云资深技术专家,PolarDB 多主架构/Serverless/事务引擎 研发负责人。 王林平(君远) :阿里云高级解决方案架构师,从事数据库运维、架构、售前工作16年,现负责泛互联网数据库解决方案工作。
|
Cloud Native 关系型数据库 MySQL
14点开播!PolarDB for MySQL 云原生多主架构发布
《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。
14点开播!PolarDB for MySQL 云原生多主架构发布