近数据计算存储的软硬件一体化

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 目前阿里巴巴Fusion Engine已经演进到2.0版本。全面使能Storage Class Memory,AliFlash,QLC SSD,SMR和AliFPGA等新型存储介质和存储计算加速硬件。

image.png

随着人工智能、云计算、大数据等应用的快速发展,多样化的应用场景对数据中心的存储设备提出了更多的挑战,包括:

(1)需要更优化的性能:对软件/硬件协同优化的需求

(2)需要更多的灵活性:多样化和快速变化的工作负载需要更多的灵活性和自定义设置

(3)供应弹性与成本优化需求:持续增长的成本和供应弹性

(4)性能稳定与确定性:应用程序需要控制I / O路径以获得确定性的性能。

(5)响应即时性:需要更快地响应在线问题。

基于传统的标准SSD,已无法满足下一代数据中心对存储的软硬件一体优化与前述要求,因此,阿里巴巴结合行业需求,围绕Open Channel SSD和Fusion Engine存储引擎,率先提出了全新的数据中心软硬件一体存储架构。

image.png

首先,阿里巴巴制定了Alibaba Open Channel (AOC)SSD规范,力求开放SSD底层硬件访问接口。通过这些新定义的白盒化开放编程接口,上层存储软件可以实现IO优化的最大灵活性。同时,阿里巴巴定制了首款符合AOC SSD规范的AliFSC控制器芯片,实现AliFlash V3 SSD的规模商用。通过和NAND存储颗粒供应商的一系列合作,提高了SSD供应的弹性。此外,阿里巴巴也和SSD合作伙伴一起研发符合AOC SSD规范的产品,积极拓展白盒化SSD产业生态。

image.png

除了自研阿里巴巴AliFlash SSD硬件, 阿里巴巴同时研发了Fusion Engine本地存储引擎软件。通过全用户态IO栈和用户态文件系统充分挖掘SSD硬件潜力,引入用户态设备管理器和基于SSD性能模型的IO调度器等一系列创新设计,有效支撑盘古2.0分布式存储在阿里云大规模上线,实现块存储产品ESSD百万IOPS的极致性能,IOPS性能提升50%,ESSD性能提升5倍。在阿里云Redis on Flash产品上,Fusion Engine作为后端存储引擎,相比全内存方案,产品性价比提升逾20倍。在X-DB业务上,通过Fusion Engine+Storage Class Memory的方案,CPU利用率降低到1/4,远程存储读延迟降低到1/5。

目前阿里巴巴Fusion Engine已经演进到2.0版本。全面使能Storage Class Memory,AliFlash,QLC SSD,SMR和AliFPGA等新型存储介质和存储计算加速硬件。提供基于追加写模型的AliFlash V3 ObjectStore,智能异构计算加速USSCA,冷存储GlacierStore,成本性能优化的分层存储TierStore,和高性能软硬一体键值存储USSKV等一系列存储引擎方案,实现端到端的性能优化和成本优化。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
存储 JSON 分布式计算
数据湖,不“唬”你:这是大数据存储的新秩序!
数据湖,不“唬”你:这是大数据存储的新秩序!
70 2
|
3月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
156 0
|
存储 算法 数据挖掘
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
本文介绍了2023年中国高校大数据挑战赛赛题B的Python实现方法,该赛题涉及DNA存储技术中的序列聚类与比对问题,包括错误率分析、序列聚类、拷贝数分布图的绘制以及比对模型的开发。
288 2
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
|
6月前
|
存储 分布式计算 大数据
数据湖——大数据存储的新思维,如何打破传统束缚?
数据湖——大数据存储的新思维,如何打破传统束缚?
213 16
|
11月前
|
存储 算法 固态存储
大数据分区优化存储成本
大数据分区优化存储成本
258 4
|
12月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
217 4
|
12月前
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
201 3
|
12月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
163 1
|
12月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
100 1
|
12月前
|
存储 算法 NoSQL
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
233 0

热门文章

最新文章