再创佳绩!阿里云4篇论文入选顶会FAST 2023

简介: 再创佳绩!阿里云4篇论文入选顶会FAST 2023


2月21日至23日,计算机体系结构顶会USENIX FAST 2023在美国圣克拉拉召开,阿里云4篇论文被顶会收录,涉及分布式存储架构、云原生存储、用户态存储引擎等多个领域。


其中,《Perseus:A Fail-Slow Detection Framework for Cloud Storage Systems》一文还斩获了大会最佳论文奖,这也是中国企业首次获此殊荣。


阿里云与上海交大合作论文获大会最佳论文奖


FAST(Conference on File and Storage Technologies)创办于2002年,是由美国高等计算系统协会(USENIX)和美国计算机学会操作系统专业组织(ACM SIGOPS)联合组织的聚焦存储领域的顶级国际会议,代表了计算机存储领域的国际最高水平。


创办二十多年来,FAST推动了如软硬件结合、RAID、闪存文件系统、非易失内存技术和分布式存储等多项存储相关技术的发展。


本次阿里云入选的 4 篇论文主要是围绕飞天云计算操作系统核心组件之一的飞天盘古分布式文件存储系统,深入地描述了过去几年在多个领域的创新以及为云存储产品提升的竞争力。


使用通用的服务器和磁盘介质,在超大规模下解决数据不丢不错和高可用的难题,让存储更加稳定可靠,拥有更大的容量和更高的性能,可承载不同的应用负载, 覆盖低延迟、高吞吐、高并发等多种复杂场景。


阿里云存储资深专家储道介绍阿里云盘古分布式存储系统论文


#01

在《More Than Capacity: Performance-oriented Evolution of Pangu in Alibaba》中:

阿里云介绍了自研的盘古分布式文件存储的新一代 2.0 系统的创新和演进。


通过基于介质优化的存储引擎、高性能存储网络、全分布式元数据的管理、长尾延迟优化等技术,极致释放硬件的能力,利用 NVMe SSD和 RDMA 网络的低延迟高带宽性能,降低软件系统的开销,提高性能的稳定性。


基于盘古 2.0,阿里云实现了百微秒级平均延迟、毫秒级长尾延迟,以及单存储节点打满200Gbps网络的IOPS处理能力,有力支撑数据库、搜索和推荐等众多性能敏感型业务。


#02

在《Perseus: A Fail-Slow Detection Framework for Cloud Storage Systems》中:

阿里云与上海交通大学共同提出了一种精确的慢盘检测框架Perseus,可将节点P9999长尾延迟平均降低33%-64%,保证业务平稳运行。


借助 Perseus 对慢盘检测的主动性和精确性,不仅提供了高性能高可靠的存储,也保障了性能的稳定性,极大减少了性能的抖动,为客户提供了可预期的平滑的服务质量保障。


本文因“其在理论研究上的创新性和实际落地应用的巨大价值”,被大会评为 FAST 2023 的最佳论文。该项研究由阿里巴巴创新研究计划(AIR)支持,旨在促进计算机科学及相关领域的前沿研究,加速研究成果的应用落地。


阿里云存储专家答案介绍SMRStore新存储引擎论文


#03

在名为《SMRSTORE: A Storage Engine for Cloud Object Storage on HM-SMR Drives》论文中:

阿里云介绍了叠瓦式磁盘HM-SMR的高性能存储引擎——SMRStore,通过数据冷热分离、端到端协同设计、流量打散等技术,大幅降低SMR磁盘上的GC开销,提供不亚于传统CMR磁盘的性能。


基于 SMRStore 存储引擎的对象存储 OSS,标准和低频类型的存储规格规模化使用 SMR 磁盘,保障性能和稳定性的同时,降低了存储成本。


#04

面向云原生大规模分布式存储的需求,在《Fisc: A Large-scale Cloud-native-oriented File System 》论文中:

阿里云提到了面向云原生的大规模文件系统Fisc,通过文件系统客户端的硬件卸载技术高效支持多容器的高并发访问,降低容器CPU和内存的消耗,节约 20% 的资源;


同时首次提出基于CIPU软硬件协同的分布式存储应用层网关,将大数据计算、AI训练等业务的存储访问平均延迟降低到百微秒级别,P999延迟优化到毫秒级别,展示了从 IO 虚拟化、多租户隔离、高性能网络、和高性能存储系统的端到端的全栈优化技术。


阿里云存储团队亮相USENIX FAST 2023


此外,盘古在分布式数据冗余算法方面也进行了持续的创新,支持跨数据中心、跨地域的多数据中心容灾策略,数据可靠性达到12个9,可用性高达5个9。在高性能存储网络方面也积累了一系列创新成果,自研的高性能RDMA存储网络(SIGCOMM 2022),HPCC流控算法(SIGCOMM 2019),RDMA网络的大规模实践和优化(NSDI 2021),引领了云存储进入微秒延迟时代。


今天的阿里云盘古分布式存储已经广泛部署在阿里云全球近百个可用区,通过块存储EBS、对象存储OSS、文件存储NAS、文件存储CPFS、表格存储Tablestore、日志服务SLS、网盘与相册服务PDS、备份容灾等服务云上数百万的客户,覆盖政企、互联网、金融、零售、制造、医疗等千行百业。


目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
机器学习/深度学习 人工智能 算法
CV领域再创佳绩!阿里云机器学习平台 PAI 多篇论文入选 ICCV 2023
近期,阿里云机器学习平台PAI发表的多篇论文在ICCV 2023上入选。ICCV是国际计算机视觉大会是由电气和电子工程师协会每两年举办一次的研究大会。与CVPR和ECCV一起,它被认为是计算机视觉领域的顶级会议之一。ICCV 2023将于10月2日至10月6日法国巴黎举办。ICCV汇聚了来自世界各地的学者、工程师和研究人员,分享最新的计算机视觉研究成果和技术进展。会议涵盖了计算机视觉领域的各个方向,包括图像处理、模式识别、机器学习、人工智能等等。ICCV的论文发表和演讲都备受关注,是计算机视觉领域交流和合作的重要平台。
|
存储 Cloud Native 容灾
再创佳绩!阿里云4篇论文入选顶会FAST 2023
2月21日至23日,计算机体系结构顶会USENIX FAST 2023在美国圣克拉拉召开,阿里云4篇论文被顶会收录,涉及分布式存储架构、云原生存储、用户态存储引擎等多个领域。其中,《Perseus:A Fail-Slow Detection Framework for Cloud Storage Systems》一文还斩获了大会最佳论文奖,这也是中国企业首次获此殊荣。
1093 1
再创佳绩!阿里云4篇论文入选顶会FAST 2023
|
机器学习/深度学习 人工智能 安全
隐语团队研究成果再创佳绩,两篇论文分别被USENIX ATC'23和IJCAI'23接收!
隐语团队研究成果再创佳绩,两篇论文分别被USENIX ATC'23和IJCAI'23接收!
208 0
|
机器学习/深度学习 人工智能 自然语言处理
Transformer六周年:当年连NeurIPS Oral都没拿到,8位作者已创办数家AI独角兽
Transformer六周年:当年连NeurIPS Oral都没拿到,8位作者已创办数家AI独角兽
287 0
|
机器学习/深度学习 编解码 网络协议
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
创历届最好成绩!阿里云6篇论文入选顶会SIGCOMM2022
290 0
|
机器学习/深度学习 人工智能 算法
谷歌大牛Jeff Dean单一作者撰文:深度学习研究的黄金十年
谷歌大牛Jeff Dean单一作者撰文:深度学习研究的黄金十年
146 0
|
机器学习/深度学习 人工智能 自然语言处理
CVPR 2021大奖公布!何恺明获最佳论文提名,代码已开源!
深度生成模型可以在高分辨率下进行逼真的图像合成。但对于许多应用来说,这还不够:内容创作还需要可控。虽然最近有几项工作研究了如何分解数据中的潜在变化因素,但它们大多在二维中操作,忽略了我们的世界是三维的。
CVPR 2021大奖公布!何恺明获最佳论文提名,代码已开源!
|
机器学习/深度学习 编解码 网络协议
创历届最好成绩 阿里云6篇论文入选全球网络顶会SIGCOMM2022
8月29日消息,国际权威网络顶会SIGCOMM2022近日在荷兰举行,55篇顶级学术成果出炉,阿里云共计有6篇高质量论文被主会收录,占总数10%以上,创下了国内历届参会企业的最好成绩,同时力压谷歌、微软等巨头,成为本届入选论文最多的科技公司。入选的论文包括阿里云自研的下一代高性能RDMA网络协议Solar、端网融合可预期数据中心网络架构、可编程网络稳定性保障系统等。
310 0
|
弹性计算 人工智能 运维
阿里云与达摩院合作 AHPA 弹性预测论文被顶会 ICDE 录用
近日,阿里云容器服务团队与达摩院数据决策团队合作的论文《RobustScaler: QoS-Aware Autoscaling for Complex Workloads》被数据管理与数据库国际顶级会议 ICDE 2022 长文录用。
下一篇
DataWorks