再创佳绩!阿里云4篇论文入选顶会FAST 2023

简介: 2月21日至23日,计算机体系结构顶会USENIX FAST 2023在美国圣克拉拉召开,阿里云4篇论文被顶会收录,涉及分布式存储架构、云原生存储、用户态存储引擎等多个领域。其中,《Perseus:A Fail-Slow Detection Framework for Cloud Storage Systems》一文还斩获了大会最佳论文奖,这也是中国企业首次获此殊荣。

2月21日至23日,计算机体系结构顶会USENIX FAST 2023在美国圣克拉拉召开,阿里云4篇论文被顶会收录,涉及分布式存储架构、云原生存储、用户态存储引擎等多个领域。

其中,《Perseus:A Fail-Slow Detection Framework for Cloud Storage Systems》一文还斩获了大会最佳论文奖,这也是中国企业首次获此殊荣。

image.png
阿里云与上海交大合作论文获大会最佳论文奖

FAST(Conference on File and Storage Technologies)创办于2002年,是由美国高等计算系统协会(USENIX)和美国计算机学会操作系统专业组织(ACM SIGOPS)联合组织的聚焦存储领域的顶级国际会议,代表了计算机存储领域的国际最高水平。

创办二十多年来,FAST推动了如软硬件结合、RAID、闪存文件系统、非易失内存技术和分布式存储等多项存储相关技术的发展。

本次阿里云入选的 4 篇论文主要是围绕飞天云计算操作系统核心组件之一的飞天盘古分布式文件存储系统,深入地描述了过去几年在多个领域的创新以及为云存储产品提升的竞争力。

使用通用的服务器和磁盘介质,在超大规模下解决数据不丢不错和高可用的难题,让存储更加稳定可靠,拥有更大的容量和更高的性能,可承载不同的应用负载, 覆盖低延迟、高吞吐、高并发等多种复杂场景。

image.png
阿里云存储资深专家储道介绍阿里云盘古分布式存储系统论文

#01
在《More Than Capacity: Performance-oriented Evolution of Pangu in Alibaba》中:阿里云介绍了自研的盘古分布式文件存储的新一代 2.0 系统的创新和演进。

通过基于介质优化的存储引擎、高性能存储网络、全分布式元数据的管理、长尾延迟优化等技术,极致释放硬件的能力,利用 NVMe SSD和 RDMA 网络的低延迟高带宽性能,降低软件系统的开销,提高性能的稳定性。

基于盘古 2.0,阿里云实现了百微秒级平均延迟、毫秒级长尾延迟,以及单存储节点打满200Gbps网络的IOPS处理能力,有力支撑数据库、搜索和推荐等众多性能敏感型业务。

#02
在《Perseus: A Fail-Slow Detection Framework for Cloud Storage Systems》中:阿里云与上海交通大学共同提出了一种精确的慢盘检测框架Perseus,可将节点P9999长尾延迟平均降低33%-64%,保证业务平稳运行。

借助 Perseus 对慢盘检测的主动性和精确性,不仅提供了高性能高可靠的存储,也保障了性能的稳定性,极大减少了性能的抖动,为客户提供了可预期的平滑的服务质量保障。

本文因“其在理论研究上的创新性和实际落地应用的巨大价值”,被大会评为 FAST 2023 的最佳论文。该项研究由阿里巴巴创新研究计划(AIR)支持,旨在促进计算机科学及相关领域的前沿研究,加速研究成果的应用落地。

image.png
阿里云存储专家答案介绍SMRStore新存储引擎论文

#03
在名为《SMRSTORE: A Storage Engine for Cloud Object Storage on HM-SMR Drives》论文中:阿里云介绍了叠瓦式磁盘HM-SMR的高性能存储引擎——SMRStore,通过数据冷热分离、端到端协同设计、流量打散等技术,大幅降低SMR磁盘上的GC开销,提供不亚于传统CMR磁盘的性能。

基于 SMRStore 存储引擎的对象存储 OSS,标准和低频类型的存储规格规模化使用 SMR 磁盘,保障性能和稳定性的同时,降低了存储成本。

#04
面向云原生大规模分布式存储的需求,在《Fisc: A Large-scale Cloud-native-oriented File System 》论文中:阿里云提到了面向云原生的大规模文件系统Fisc,通过文件系统客户端的硬件卸载技术高效支持多容器的高并发访问,降低容器CPU和内存的消耗,节约 20% 的资源;

同时首次提出基于CIPU软硬件协同的分布式存储应用层网关,将大数据计算、AI训练等业务的存储访问平均延迟降低到百微秒级别,P999延迟优化到毫秒级别,展示了从 IO 虚拟化、多租户隔离、高性能网络、和高性能存储系统的端到端的全栈优化技术。

image.png
阿里云存储团队亮相USENIX FAST 2023

此外,盘古在分布式数据冗余算法方面也进行了持续的创新,支持跨数据中心、跨地域的多数据中心容灾策略,数据可靠性达到12个9,可用性高达5个9。在高性能存储网络方面也积累了一系列创新成果,自研的高性能RDMA存储网络(SIGCOMM 2022),HPCC流控算法(SIGCOMM 2019),RDMA网络的大规模实践和优化(NSDI 2021),引领了云存储进入微秒延迟时代。

今天的阿里云盘古分布式存储已经广泛部署在阿里云全球近百个可用区,通过块存储EBS、对象存储OSS、文件存储NAS、文件存储CPFS、表格存储Tablestore、日志服务SLS、网盘与相册服务PDS、备份容灾等服务云上数百万的客户,覆盖政企、互联网、金融、零售、制造、医疗等千行百业。

本文转自阿里云公众号2023-02-25发布的《再创佳绩!阿里云4篇论文入选顶会FAST 2023》

相关文章
|
存储 调度 块存储
阿里云连续两年斩获全球存储顶会FAST最佳论文
阿里云连续两年斩获全球存储顶会FAST最佳论文
900 0
|
11月前
|
消息中间件 Apache 云计算
阿里云消息团队创新论文被软件工程顶会 FM 2024 录用
此论文灵感来源于 RocketMQ 适配阿里云倚天 CPU 的性能优化过程中。RocketMQ 此前在发送消息的过程中存在两种锁:自旋锁和互斥锁。本文旨在提出一种新的自适应 K 值退避锁,能够让高并发系统的部署者无需考虑两种锁的优劣势,只需使用一把锁即可实现性能的最优以及最低的资源损耗。
170 74
|
5月前
|
存储 固态存储 索引
DeepSeek 3FS解读与源码分析(3):Storage模块解读
2025年2月28日,DeepSeek 正式开源其颠覆性文件系统Fire-Flyer 3FS(以下简称3FS),重新定义了分布式存储的性能边界。本文将结合代码和design_notes 对storage部分进行分析和探讨。
|
存储 调度 块存储
十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!
上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。
106563 105
|
存储 关系型数据库 分布式数据库
内附原文|详解SIGMOD’24最佳论文:PolarDB破解多主架构经典难题
在今年的SIGMOD会议上,阿里云瑶池数据库团队的论文《PolarDB-MP: A Multi-Primary Cloud-Native Database via Disaggregated Shared Memory》获得了Industry Track Best Paper Award,这是中国企业独立完成的成果首次摘得SIGMOD最高奖。PolarDB-MP是基于分布式共享内存的多主云原生数据库,本文将介绍这篇论文的具体细节。
内附原文|详解SIGMOD’24最佳论文:PolarDB破解多主架构经典难题
|
存储 缓存 分布式计算
Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native
本篇文章介绍了 Gluten 项目的背景和目标,以及它如何解决基于 Apache Spark 的数据负载场景中的 CPU 计算瓶颈。此外,还详细介绍了 Gluten 与 Celeborn 的集成。Celeborn 采用了 Push Shuffle 的设计,通过远端存储、数据重组、内存缓存、多副本等设计,不仅进一步提升 Gluten Shuffle 的性能和稳定性,还使得 Gluten 拥有更好的弹性,从而更好的拥抱云原生。
2767 4
Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native
|
存储 缓存 NoSQL
顶会论文解读|DEPART:分布式KV存储系统的副本解耦方案(1)
顶会论文解读|DEPART:分布式KV存储系统的副本解耦方案
325 0
|
存储 Cloud Native 容灾
再创佳绩!阿里云4篇论文入选顶会FAST 2023
再创佳绩!阿里云4篇论文入选顶会FAST 2023
784 0
|
存储 网络协议 算法
一文看懂两篇SIGCOMM论文!被顶会点赞的“可预期高性能网络”是什么?
一文看懂两篇SIGCOMM论文!被顶会点赞的“可预期高性能网络”是什么?
2362 0
|
算法 关系型数据库 MySQL
长路漫漫, 从Blink-tree 到Bw-tree (上)
> 天不生我 bw-tree, 索引万古如长夜 > ### 背景 在前面的文章 [路在脚下, 从BTree 到Polar Index](https://zhuanlan.zhihu.com/p/374000358)中提到, 我们已经将InnoDB 里面Btree 替换成Blink Tree, 高并发压力下, 在标准的TPCC 场景中最高能够有239%的性能提升, 然后我们对InnoDB 的fi
601 1