PolarFS

简介: PolarFS

  PolarFS

  PolarFS设计中采用了如下技术以充分发挥I/O性能:

  PolarFS采用了绑定CPU的单线程有限状态机的方式处理I/O,避免了多线程I/O pipeline方式的上下文切换开销。

  PolarFS优化了内存的分配,采用MemoryPool减少内存对象构造和析构的开销,采用巨页来降低分页和TLB更新的开销。

  PolarFS通过中心加局部自治的结构,所有元数据均缓存在系统各部件的内存中,基本完全避免了额外的元数据I/O。

  PolarFS采用了全用户空间I/O栈,包括RDMA和SPDK,避免了内核网络栈和存储栈的开销。

  在相同硬件环境下的对比测试,PolarFS中数据块3副本写入性能接近于单副本本地SSD的延迟性能。从而在保障数据可靠性的同时,极大地提升POLARDB的单实例TPS性能。

  PolarDB日志

  在数据库PolarDB中开创性地引入了物理日志(Redo Log)代替了传统的逻辑日志,不仅极大地提升了复制的效率和准确性,还节省了50%的 I/O 操作,对于有频繁写入或更新的数据库,性能可提升50%以上。

目录
相关文章
|
6月前
|
存储 分布式计算 测试技术
加速LakeHouse ACID Upsert的新写时复制方案
加速LakeHouse ACID Upsert的新写时复制方案
53 2
|
3月前
|
存储 缓存 测试技术
使用部分写时复制提升Lakehouse的 ACID Upserts性能
使用部分写时复制提升Lakehouse的 ACID Upserts性能
32 1
|
5月前
|
关系型数据库 数据库
|
6月前
|
消息中间件 存储 Java
AutoMQ 如何基于裸设备实现高性能的 WAL
AutoMQ是基于S3 Stream的Apache Kafka云原生解决方案,利用云盘和对象存储实现低延迟、高吞吐、低成本流式存储。Delta WAL是其核心组件,作为持久化写入缓冲区,先在云盘上做高效持久化,再上传至对象存储。Delta WAL采用Direct IO在裸设备上读写,避免Page Cache污染,提高写入性能,加快宕机恢复速度。设计目标包括轮转写入、充分利用云盘性能和快速恢复。其写入和恢复流程涉及WALHeader、RecordHeader和SlidingWindow数据结构。基准测试显示,Delta WAL能充分利用云盘资源,实现高吞吐和低延迟。
104 0
AutoMQ 如何基于裸设备实现高性能的 WAL
|
6月前
|
存储 监控 容灾
TiDB存储层深入:分布式存储架构与数据一致性保障
【2月更文挑战第26天】本文将深入探讨TiDB的存储层,详细解析其分布式存储架构、数据复制机制以及数据一致性保障措施。通过了解存储层的核心组件和工作原理,我们可以更好地理解TiDB如何确保数据的可靠性、高可用性和可扩展性。本文将从存储层的架构、数据分布、容错机制等方面展开介绍,帮助读者全面掌握TiDB存储层的关键技术和优势。
|
6月前
|
存储 SQL 缓存
|
存储 算法
GreenPlum AOCO列存如何将数据刷写磁盘
GreenPlum AOCO列存如何将数据刷写磁盘
120 0
|
存储 缓存 算法
提高存储系统性能的技术
提高存储系统性能的技术
159 0
|
固态存储 关系型数据库 分布式数据库
PolarFS
PolarFS
198 0
|
存储 固态存储 NoSQL
为SSD优化的NoSQL数据库Aerospike开源
NoSQL数据库Aerospike宣布以AGPL许可证开源。 Aerospike专门为SSD/Flash设备优化,为集群计算与跨数据中心设计。目标是对大数据、集群计算的应用,在全部数据的范围内提供内存级的高速度,以及企业级的可扩展性和可靠性。
461 0
为SSD优化的NoSQL数据库Aerospike开源