自研分布式存储技术中盘古是什么？

2864亿，这是2019全球天猫购物狂欢节创下了的商业奇迹。在奇迹的背后，是来自阿里云自研的分布式存储 系统——盘古2.0稳如磐石的可靠性支持。2009年，盘古1.0正式发布，经过十年的发展，今天的盘古2.0已经成为 阿里云智能一体化基础设施的稳定基石和性能引擎。在云基础设施中，一个网络设备或者某个存储集群出现故障，将使得整个计算单元受到影响。因此，稳定性压 倒一切。作为阿里云十年磨一剑自主研发的分布式存储系统，盘古基于传统的分布式数据、纠删码、分布式元数据 等分布式存储技术，并不断结合大规模RDMA网络、全用户态I/O、智能化运维等技术，持续拓展存储系统的技术 能力边界，增强系统的稳定性和性能。在线上大促期间，盘古系统在吞吐数TB/s，IOPS上亿级的压力下，依然提 供了如丝般顺滑的存储体验，在海量、交叉复杂业务场景下具有良好表现。 盘古采用全分布式元数据管理，通过元数据的全分布式管理及动态切分和迁移，大幅提升管理的文件数规模， 降低故障“爆炸半径，去元数据节点特殊机型依赖，也进一步降低元数据存储成本，提高平台稳定性。此外还通过 数据关键路径快速容错、软硬件异常及热点规避、基于网络可用带宽、动态调节复制流量等方式进一步提供稳定 性。盘古面向新一代存储介质和网络架构，对存储系统设计进行了深度软硬协同优化。通过用户态文件系统、高性 能网络技术、拥塞控制及链路监控调度等技术，充分释放了软硬件技术发展带来的红利。针对NVMe高性能存储介 质的特性，重新定义和设计了全用户态文件系统，并且通过run-to-completion线程模型以及无锁技术充分发挥 了介质性能，存储软件栈本身I/O延迟压缩到了2微秒以内。在网络互联方面，盘古通过远程直接数据存取技术卸载 了协议栈，释放了CPU资源，并且通过网络层的拥塞控制优化，避免了存储网络层的拥塞，提升了物理网络资源 的利用率，从而进一步降低了分布式存储的I/O延迟。2019年全球首个最快云盘ESSD正式商用，作为全新一代企 业级高性能的极致云盘，ESSD正是基于全新一代自主研发的分布式存储系统盘古2.0而打造。