“这是FAST上第一次有云计算公司分享如此大规模技术实现”

简介: 与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。

不不不,我们这次要聊的FAST既不是射电望远镜(Five-hundred-meter Aperture Spherical radioTelescope)也不是Fast Company(《快公司》杂志)。而是计算机存储行业的顶级学术会议——FAST(USENIXConference on File and Storage Technologies)
2018031701

与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。

这个会通常在每年2月份在美国旧金山湾区各城市轮流举办,今年的FAST’18举办地是在湾区北部奥克兰,2月的奥克兰迎来了全球存储领域的专家、学者以及产业界人士。

当然,很多专家其实是从临近的山景城、西雅图过来,这很不“全球”。倒是我们的团队既有从杭州、北京也有西雅图、硅谷过去的,可见其实在此地我们却成了体现“全球”的最佳标签。

随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。

于是,这个大会上可以看到很多阿里巴巴的元素。是的,我们全力支持了这个技术盛会,有存储专家团队也有阿里云盘古存储系统,有展台也有专场,与技术来一个全面拥抱。

两大整体感受:新介质与中国面孔

在奥克兰的四天时间里,我们一行人每天都按照自己的研究方向挤在各个报告厅里。除了各自关注的领域的进展外,也接触到了不少扩展的知识和应用,以及学术界最新的一些研究方向和思路。

回来之后,我们梳理了一下本届FAST整体感受:
2018031702

图为FAST’18 当中的一场会议

1、新一代存储介质话题最热,将迎来行业的变革

不难看出,近年来新硬件层出不穷给存储行业带来革命式发展,如何改造软件让新硬件发挥全部出能力是学术届和工业届面临的共同难题。

从今年发表的文章数量来看,新一代存储介质毫无疑问是最热门的领域。

技术报告分为8个Session,共23篇论文,其中1/3论文与本地存储系统有关(硬件+本地文件系统),最佳论文两篇,分别是:“Protocol-AwareRecovery for Consensus-Based Storage“解决故障副本的快速修复问题;”Barrier-EnabledIO Stack for Flash Storage“解决fsync引入的高延迟问题。

2、存储技术领域的中国面孔迅速增多

另一大感受是参会嘉宾中有非常多的中国面孔,23篇论文中第一作者是华人的有8篇,其中清华大学有两篇论文入选(派出了大概6名参会人员),这当然是一个巨大的进步。

但如果我们去看大会的联席主席以及ProgramCommittee名单的话,又会发现已经有数位中国学者,但尚未有中国大学及公司入列。这是一个最好的标尺:我们仍需大把大把的努力,中国技术人要用技术赢得赞誉。

工业界最关注阿里云的增强型云盘(ESSD) 百万IOPS与百微秒延时

接着说下在FAST上阿里巴巴分享了哪些技术。

在FAST展台上,我们着重展示的是「盘古」分布式存储,以及基于盘古存储的多个云服务、自研的双模式 SSD 等。当中,近期发布的增强型云盘(ESSD)又是被问及最多的产品,面对达到百万 IOPS和单路百微秒延时的技术实现,用苹果文案风来说就是:“真的问,问了又问”。

“增强型云盘是我们做的第四代块存储产品,它采用了全用户态协议栈,通过用户态polling 模式驱动程序架构如 SPDK、DPDK,避免了传统软件中的线程切换和系统调用开销,因此能达到极低延时和高 IOPS的用户体验。”我们也是“答了又答”,深入交流的部分就不在此贴了。

同行则比较关心增强型云盘单路延时100us与写透盘掉电不丢数据这两点。

中国的电商和云计算如今在海外也成了技术招牌,但凡提及双11峰值,接下去的提问就会接踵而至。“如何在复用现有硬件不增加成本的情况下,满足电商交易峰值流量。”、“峰值对于存储的准备工作与日常有哪些不同”……

这方面阿里巴巴采用计算存储分离和在线离线混跑技术,将电商容器和数据库等延时敏感的应用和离线数据作业部署在同一批机器上,根据交易量动态调整两者资源占用比例,实现电商全链路的弹性部署。

从提问者身上可以非常明显地看到,对于技术人来说,其实特别羡慕这类极端的峰值场景,带来的经验和技术积累特别的“浓缩”。我想,真正的技术人还真是一样:有问题最好啊,我来解嘛。

当然了,技术人与平台也是相辅相成的。“如果没有如此牛逼的舞台(技术),何处安放我牛逼的技术(何以造就牛逼的平台)”。

同行评价:“这是FAST上第一次有云计算公司愿意分享技术实现”

除了展台,阿里巴巴组织的“阿里之夜”报告专场也是热闹非凡。

阿里云首席架构师唐洪等在会上分享了我们在大规模分布式存储领域的实践经验。来自 NAS 团队的陆庆达在会上分享了我们如何做到同时支持NFS和SMB。

说到这里,阿里云 NAS 服务是全球首个同时支持 NFS 和 SMB 的云文件系统服务。NFS 和 SMB 原本是为传统存储设计的协议,至今已经二十余年历史。如何将它和云存储的大规模可扩展架构结合起来是 NAS 服务设计的难点。

2018031703

图为基于盘古存储系统的阿里云NAS服务架构

这场分享会从原定的1个小时延长至1个半小时,会议结束后大家拉着讨论一些技术点一直到了晚上10点。

来自存储工业界组织SNIA的Michael Oros特意找到我同事致谢说,“这是FAST上第一次有云计算公司愿意分享技术实现,希望未来多多支持存储标准化工作。”

相关实践学习
函数计算部署PuLID for FLUX人像写真实现智能换颜效果
只需一张图片,生成程序员专属写真!本次实验在函数计算中内置PuLID for FLUX,您可以通过函数计算+Serverless应用中心一键部署Flux模型,快速体验超写实图像生成的魅力。
相关文章
|
边缘计算 人工智能 自动驾驶
云计算的加速引擎——5G技术如何改变未来
云计算的加速引擎——5G技术如何改变未来
447 7
云计算的加速引擎——5G技术如何改变未来
|
9月前
|
Kubernetes Cloud Native 云计算
云计算与云原生技术探索
🌟蒋星熠Jaxonic,云原生探索者!以代码为舟,遨游技术星河。专注容器化、微服务、K8s与DevOps,践行GitOps理念,拥抱多云未来。用架构编织星辰,让创新照亮极客征途!
云计算与云原生技术探索
|
11月前
|
存储 分布式计算 调度
云计算核心技术
云计算作为IT领域的热门技术,融合网格计算与虚拟化,通过资源池和分布式存储提供高效计算与存储服务。其架构涵盖物理资源、资源池、管理中间件及SOA构建层,关键技术包括虚拟化、海量数据处理、资源调度、服务管理及云平台,旨在实现低成本、高可靠、可扩展的服务交付。
861 0
云计算核心技术
|
监控 安全 网络安全
云计算与网络安全:技术挑战与解决方案
随着云计算技术的飞速发展,其在各行各业的应用越来越广泛。然而,随之而来的网络安全问题也日益凸显。本文将从云服务、网络安全和信息安全等技术领域出发,探讨云计算面临的安全挑战及相应的解决方案。通过实例分析和代码示例,旨在帮助读者更好地理解云计算与网络安全的关系,提高网络安全防护意识。
462 56
|
安全 大数据 虚拟化
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显。作为Windows Server的核心组件,Hyper-V具备卓越的技术性能,支持高可用性、动态迁移等功能,确保虚拟机稳定高效运行。它与Windows深度集成,管理便捷,支持远程管理和自动化部署,降低管理成本。内置防火墙、RBAC等安全功能,提供全方位安全保障。作为内置组件,Hyper-V无需额外购买软件,降低成本。其广泛的生态系统支持和持续增长的市场需求,使其成为企业虚拟化解决方案的首选。
|
存储 监控 数据可视化
SaaS云计算技术的智慧工地源码,基于Java+Spring Cloud框架开发
智慧工地源码基于微服务+Java+Spring Cloud +UniApp +MySql架构,利用传感器、监控摄像头、AI、大数据等技术,实现施工现场的实时监测、数据分析与智能决策。平台涵盖人员、车辆、视频监控、施工质量、设备、环境和能耗管理七大维度,提供可视化管理、智能化报警、移动智能办公及分布计算存储等功能,全面提升工地的安全性、效率和质量。
403 0
|
存储 安全 网络安全
云计算与网络安全:技术融合与安全挑战
随着云计算技术的飞速发展,其在各行各业的应用日益广泛。然而,随之而来的网络安全问题也日益凸显,成为制约云计算发展的重要因素。本文将从云服务、网络安全、信息安全等方面探讨云计算与网络安全的关系,分析云计算环境下的网络安全挑战,并提出相应的解决方案。
|
存储 安全 网络安全
云计算与网络安全:技术融合的双刃剑
在数字化浪潮中,云计算如同一股不可阻挡的力量,推动着企业和个人用户步入一个高效、便捷的新时代。然而,随之而来的网络安全问题也如影随形,成为制约云计算发展的阿喀琉斯之踵。本文将探讨云计算服务中的网络安全挑战,揭示信息保护的重要性,并提供实用的安全策略,旨在为读者呈现一场技术与安全的较量,同时指出如何在享受云服务带来的便利的同时,确保数据的安全和隐私。
354 6
|
存储 人工智能 安全
云计算与网络安全:技术融合与挑战
在数字化时代的浪潮中,云计算和网络安全已成为推动社会进步的两大关键技术。本文将探讨云计算服务的发展,网络安全的重要性,以及信息安全技术的演进。我们将通过实例分析,揭示云服务如何增强数据保护,网络安全措施如何应对新兴威胁,以及信息安全技术的创新如何为企业带来竞争优势。文章旨在为读者提供对云计算和网络安全领域的深入理解,并展示它们如何共同塑造我们的未来。
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。

热门文章

最新文章