随着人工智能、云计算、大数据等应用的快速发展,多样化的应用场景对数据中心的存储设备提出了更多的挑战,包括:
(1)需要更优化的性能:对软件/硬件协同优化的需求
(2)需要更多的灵活性:多样化和快速变化的工作负载需要更多的灵活性和自定义设置
(3)供应弹性与成本优化需求:持续增长的成本和供应弹性
(4)性能稳定与确定性:应用程序需要控制I / O路径以获得确定性的性能。
(5)响应即时性:需要更快地响应在线问题。
基于传统的标准SSD,已无法满足下一代数据中心对存储的软硬件一体优化与前述要求,因此,阿里巴巴结合行业需求,围绕Open Channel SSD和Fusion Engine存储引擎,率先提出了全新的数据中心软硬件一体存储架构。
首先,阿里巴巴制定了Alibaba Open Channel (AOC)SSD规范,力求开放SSD底层硬件访问接口。通过这些新定义的白盒化开放编程接口,上层存储软件可以实现IO优化的最大灵活性。同时,阿里巴巴定制了首款符合AOC SSD规范的AliFSC控制器芯片,实现AliFlash V3 SSD的规模商用。通过和NAND存储颗粒供应商的一系列合作,提高了SSD供应的弹性。此外,阿里巴巴也和SSD合作伙伴一起研发符合AOC SSD规范的产品,积极拓展白盒化SSD产业生态。
除了自研阿里巴巴AliFlash SSD硬件, 阿里巴巴同时研发了Fusion Engine本地存储引擎软件。通过全用户态IO栈和用户态文件系统充分挖掘SSD硬件潜力,引入用户态设备管理器和基于SSD性能模型的IO调度器等一系列创新设计,有效支撑盘古2.0分布式存储在阿里云大规模上线,实现块存储产品ESSD百万IOPS的极致性能,IOPS性能提升50%,ESSD性能提升5倍。在阿里云Redis on Flash产品上,Fusion Engine作为后端存储引擎,相比全内存方案,产品性价比提升逾20倍。在X-DB业务上,通过Fusion Engine+Storage Class Memory的方案,CPU利用率降低到1/4,远程存储读延迟降低到1/5。
目前阿里巴巴Fusion Engine已经演进到2.0版本。全面使能Storage Class Memory,AliFlash,QLC SSD,SMR和AliFPGA等新型存储介质和存储计算加速硬件。提供基于追加写模型的AliFlash V3 ObjectStore,智能异构计算加速USSCA,冷存储GlacierStore,成本性能优化的分层存储TierStore,和高性能软硬一体键值存储USSKV等一系列存储引擎方案,实现端到端的性能优化和成本优化。