“这是FAST上第一次有云计算公司分享如此大规模技术实现”

本文涉及的产品
文件存储 NAS,50GB 3个月
简介: 与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。

不不不,我们这次要聊的FAST既不是射电望远镜(Five-hundred-meter Aperture Spherical radioTelescope)也不是Fast Company(《快公司》杂志)。而是计算机存储行业的顶级学术会议——FAST(USENIXConference on File and Storage Technologies)
2018031701

与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。

这个会通常在每年2月份在美国旧金山湾区各城市轮流举办,今年的FAST’18举办地是在湾区北部奥克兰,2月的奥克兰迎来了全球存储领域的专家、学者以及产业界人士。

当然,很多专家其实是从临近的山景城、西雅图过来,这很不“全球”。倒是我们的团队既有从杭州、北京也有西雅图、硅谷过去的,可见其实在此地我们却成了体现“全球”的最佳标签。

随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。

于是,这个大会上可以看到很多阿里巴巴的元素。是的,我们全力支持了这个技术盛会,有存储专家团队也有阿里云盘古存储系统,有展台也有专场,与技术来一个全面拥抱。

两大整体感受:新介质与中国面孔

在奥克兰的四天时间里,我们一行人每天都按照自己的研究方向挤在各个报告厅里。除了各自关注的领域的进展外,也接触到了不少扩展的知识和应用,以及学术界最新的一些研究方向和思路。

回来之后,我们梳理了一下本届FAST整体感受:
2018031702

图为FAST’18 当中的一场会议

1、新一代存储介质话题最热,将迎来行业的变革

不难看出,近年来新硬件层出不穷给存储行业带来革命式发展,如何改造软件让新硬件发挥全部出能力是学术届和工业届面临的共同难题。

从今年发表的文章数量来看,新一代存储介质毫无疑问是最热门的领域。

技术报告分为8个Session,共23篇论文,其中1/3论文与本地存储系统有关(硬件+本地文件系统),最佳论文两篇,分别是:“Protocol-AwareRecovery for Consensus-Based Storage“解决故障副本的快速修复问题;”Barrier-EnabledIO Stack for Flash Storage“解决fsync引入的高延迟问题。

2、存储技术领域的中国面孔迅速增多

另一大感受是参会嘉宾中有非常多的中国面孔,23篇论文中第一作者是华人的有8篇,其中清华大学有两篇论文入选(派出了大概6名参会人员),这当然是一个巨大的进步。

但如果我们去看大会的联席主席以及ProgramCommittee名单的话,又会发现已经有数位中国学者,但尚未有中国大学及公司入列。这是一个最好的标尺:我们仍需大把大把的努力,中国技术人要用技术赢得赞誉。

工业界最关注阿里云的增强型云盘(ESSD) 百万IOPS与百微秒延时

接着说下在FAST上阿里巴巴分享了哪些技术。

在FAST展台上,我们着重展示的是「盘古」分布式存储,以及基于盘古存储的多个云服务、自研的双模式 SSD 等。当中,近期发布的增强型云盘(ESSD)又是被问及最多的产品,面对达到百万 IOPS和单路百微秒延时的技术实现,用苹果文案风来说就是:“真的问,问了又问”。

“增强型云盘是我们做的第四代块存储产品,它采用了全用户态协议栈,通过用户态polling 模式驱动程序架构如 SPDK、DPDK,避免了传统软件中的线程切换和系统调用开销,因此能达到极低延时和高 IOPS的用户体验。”我们也是“答了又答”,深入交流的部分就不在此贴了。

同行则比较关心增强型云盘单路延时100us与写透盘掉电不丢数据这两点。

中国的电商和云计算如今在海外也成了技术招牌,但凡提及双11峰值,接下去的提问就会接踵而至。“如何在复用现有硬件不增加成本的情况下,满足电商交易峰值流量。”、“峰值对于存储的准备工作与日常有哪些不同”……

这方面阿里巴巴采用计算存储分离和在线离线混跑技术,将电商容器和数据库等延时敏感的应用和离线数据作业部署在同一批机器上,根据交易量动态调整两者资源占用比例,实现电商全链路的弹性部署。

从提问者身上可以非常明显地看到,对于技术人来说,其实特别羡慕这类极端的峰值场景,带来的经验和技术积累特别的“浓缩”。我想,真正的技术人还真是一样:有问题最好啊,我来解嘛。

当然了,技术人与平台也是相辅相成的。“如果没有如此牛逼的舞台(技术),何处安放我牛逼的技术(何以造就牛逼的平台)”。

同行评价:“这是FAST上第一次有云计算公司愿意分享技术实现”

除了展台,阿里巴巴组织的“阿里之夜”报告专场也是热闹非凡。

阿里云首席架构师唐洪等在会上分享了我们在大规模分布式存储领域的实践经验。来自 NAS 团队的陆庆达在会上分享了我们如何做到同时支持NFS和SMB。

说到这里,阿里云 NAS 服务是全球首个同时支持 NFS 和 SMB 的云文件系统服务。NFS 和 SMB 原本是为传统存储设计的协议,至今已经二十余年历史。如何将它和云存储的大规模可扩展架构结合起来是 NAS 服务设计的难点。

2018031703

图为基于盘古存储系统的阿里云NAS服务架构

这场分享会从原定的1个小时延长至1个半小时,会议结束后大家拉着讨论一些技术点一直到了晚上10点。

来自存储工业界组织SNIA的Michael Oros特意找到我同事致谢说,“这是FAST上第一次有云计算公司愿意分享技术实现,希望未来多多支持存储标准化工作。”

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
2月前
|
存储 数据管理 数据库
拥抱变革:我的云计算技术感悟之旅
在信息技术不断进步的今天,云计算已经成为推动企业数字化转型的重要力量。本文将分享个人在学习和实践云计算技术过程中的一些体会与感悟。文章不仅探讨了云计算的基本概念和架构,还深入分析了云服务模型以及迁移到云端时面临的挑战。此外,通过实际案例来阐述如何有效利用云计算资源,以及如何优化云策略以提升业务连续性和灵活性。本篇文章旨在为那些渴望了解并掌握云计算精粹的技术人员提供一些实用的建议和启示。
|
14天前
|
存储 云计算 数据安全/隐私保护
拥抱变革:我的云计算技术感悟
【4月更文挑战第27天】 在数字化的浪潮中,我经历了从怀疑到接受,再到深度依赖云计算的过程。这篇文章将分享我个人的技术感悟,探讨如何通过学习和适应云计算技术,提升工作效率,应对快速变化的市场需求。
|
3天前
|
存储 消息中间件 Cloud Native
AutoMQ:充分挖掘云计算技术红利,免除下云烦恼
AutoMQ 通过深度用云,以云原生的能力重构了 Apache Kafka,创造了 10 倍的成本优势。相较于Kafka,AutoMQ的共享存储架构使得在分区迁移、节点动态扩缩容、流量自动重平衡等运维方面的耗时指标得到了数百倍的优化。今天,这篇文章,主要是立足于阿里云,盘点 AutoMQ 深度使用的云原生技术,以及分别用这些技术解决什么样的实际问题。
|
12天前
|
存储 边缘计算 弹性计算
云计算技术与服务
云计算技术与服务
82 1
|
12天前
|
Kubernetes 云计算 虚拟化
云计算开发与部署:技术与实践的深度融合
云计算开发与部署:技术与实践的深度融合
31 2
|
12天前
|
存储 大数据 云计算
云计算:技术与应用的融合之美
云计算:技术与应用的融合之美
27 0
|
14天前
|
机器学习/深度学习 人工智能 安全
拥抱变革:我的云计算技术感悟之旅
【4月更文挑战第27天】 在信息技术不断演进的今天,我体会到了云计算作为一种颠覆性技术的强大动力。本文将分享我在学习和应用云计算技术过程中的一些深刻体会和实践经验。从最初的怀疑到后来的全面接受,我见证了云计算如何帮助企业降低成本、提高效率并加速创新。文章还将探讨云计算的未来趋势以及作为技术人员如何持续适应这一不断变化的技术环境。
|
16天前
|
存储 人工智能 安全
云计算:探索技术的云端变革
云计算:探索技术的云端变革
115 0
|
16天前
|
存储 分布式计算 Cloud Native
云计算:技术革命与代码实践
云计算:技术革命与代码实践
60 1
|
16天前
|
存储 调度 云计算
云计算:技术解析与实践应用
云计算:技术解析与实践应用
25 0