“这是FAST上第一次有云计算公司分享如此大规模技术实现”-阿里云开发者社区

开发者社区> 阿里云头条> 正文

“这是FAST上第一次有云计算公司分享如此大规模技术实现”

简介: 与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。
+关注继续查看

不不不,我们这次要聊的FAST既不是射电望远镜(Five-hundred-meter Aperture Spherical radioTelescope)也不是Fast Company(《快公司》杂志)。而是计算机存储行业的顶级学术会议——FAST(USENIXConference on File and Storage Technologies)
2018031701

与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。

这个会通常在每年2月份在美国旧金山湾区各城市轮流举办,今年的FAST’18举办地是在湾区北部奥克兰,2月的奥克兰迎来了全球存储领域的专家、学者以及产业界人士。

当然,很多专家其实是从临近的山景城、西雅图过来,这很不“全球”。倒是我们的团队既有从杭州、北京也有西雅图、硅谷过去的,可见其实在此地我们却成了体现“全球”的最佳标签。

随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。

于是,这个大会上可以看到很多阿里巴巴的元素。是的,我们全力支持了这个技术盛会,有存储专家团队也有阿里云盘古存储系统,有展台也有专场,与技术来一个全面拥抱。

两大整体感受:新介质与中国面孔

在奥克兰的四天时间里,我们一行人每天都按照自己的研究方向挤在各个报告厅里。除了各自关注的领域的进展外,也接触到了不少扩展的知识和应用,以及学术界最新的一些研究方向和思路。

回来之后,我们梳理了一下本届FAST整体感受:
2018031702

图为FAST’18 当中的一场会议

1、新一代存储介质话题最热,将迎来行业的变革

不难看出,近年来新硬件层出不穷给存储行业带来革命式发展,如何改造软件让新硬件发挥全部出能力是学术届和工业届面临的共同难题。

从今年发表的文章数量来看,新一代存储介质毫无疑问是最热门的领域。

技术报告分为8个Session,共23篇论文,其中1/3论文与本地存储系统有关(硬件+本地文件系统),最佳论文两篇,分别是:“Protocol-AwareRecovery for Consensus-Based Storage“解决故障副本的快速修复问题;”Barrier-EnabledIO Stack for Flash Storage“解决fsync引入的高延迟问题。

2、存储技术领域的中国面孔迅速增多

另一大感受是参会嘉宾中有非常多的中国面孔,23篇论文中第一作者是华人的有8篇,其中清华大学有两篇论文入选(派出了大概6名参会人员),这当然是一个巨大的进步。

但如果我们去看大会的联席主席以及ProgramCommittee名单的话,又会发现已经有数位中国学者,但尚未有中国大学及公司入列。这是一个最好的标尺:我们仍需大把大把的努力,中国技术人要用技术赢得赞誉。

工业界最关注阿里云的增强型云盘(ESSD) 百万IOPS与百微秒延时

接着说下在FAST上阿里巴巴分享了哪些技术。

在FAST展台上,我们着重展示的是「盘古」分布式存储,以及基于盘古存储的多个云服务、自研的双模式 SSD 等。当中,近期发布的增强型云盘(ESSD)又是被问及最多的产品,面对达到百万 IOPS和单路百微秒延时的技术实现,用苹果文案风来说就是:“真的问,问了又问”。

“增强型云盘是我们做的第四代块存储产品,它采用了全用户态协议栈,通过用户态polling 模式驱动程序架构如 SPDK、DPDK,避免了传统软件中的线程切换和系统调用开销,因此能达到极低延时和高 IOPS的用户体验。”我们也是“答了又答”,深入交流的部分就不在此贴了。

同行则比较关心增强型云盘单路延时100us与写透盘掉电不丢数据这两点。

中国的电商和云计算如今在海外也成了技术招牌,但凡提及双11峰值,接下去的提问就会接踵而至。“如何在复用现有硬件不增加成本的情况下,满足电商交易峰值流量。”、“峰值对于存储的准备工作与日常有哪些不同”……

这方面阿里巴巴采用计算存储分离和在线离线混跑技术,将电商容器和数据库等延时敏感的应用和离线数据作业部署在同一批机器上,根据交易量动态调整两者资源占用比例,实现电商全链路的弹性部署。

从提问者身上可以非常明显地看到,对于技术人来说,其实特别羡慕这类极端的峰值场景,带来的经验和技术积累特别的“浓缩”。我想,真正的技术人还真是一样:有问题最好啊,我来解嘛。

当然了,技术人与平台也是相辅相成的。“如果没有如此牛逼的舞台(技术),何处安放我牛逼的技术(何以造就牛逼的平台)”。

同行评价:“这是FAST上第一次有云计算公司愿意分享技术实现”

除了展台,阿里巴巴组织的“阿里之夜”报告专场也是热闹非凡。

阿里云首席架构师唐洪等在会上分享了我们在大规模分布式存储领域的实践经验。来自 NAS 团队的陆庆达在会上分享了我们如何做到同时支持NFS和SMB。

说到这里,阿里云 NAS 服务是全球首个同时支持 NFS 和 SMB 的云文件系统服务。NFS 和 SMB 原本是为传统存储设计的协议,至今已经二十余年历史。如何将它和云存储的大规模可扩展架构结合起来是 NAS 服务设计的难点。

2018031703

图为基于盘古存储系统的阿里云NAS服务架构

这场分享会从原定的1个小时延长至1个半小时,会议结束后大家拉着讨论一些技术点一直到了晚上10点。

来自存储工业界组织SNIA的Michael Oros特意找到我同事致谢说,“这是FAST上第一次有云计算公司愿意分享技术实现,希望未来多多支持存储标准化工作。”

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
DockOne微信分享( 九十四):唯品会基于Kubernetes的网络方案演进
本文讲的是DockOne微信分享( 九十四):唯品会基于Kubernetes的网络方案演进【编者的话】本文主要介绍唯品会云平台PaaS在持续集成和持续部署方面,基于Docker和Kubernetes,对网络方案的选型及应用,以及随着业务需求的增加而经历的网络方案变更,包括:
2176 0
分享录制的正则表达式入门、高阶以及使用 .NET 实现网络爬虫视频教程
我发布的「正则表达式入门以及高阶教程」,欢迎学习。 课程简介 正则表达式是软件开发必须掌握的一门语言,掌握后才能很好地理解到它的威力; 课程采用概念和实验操作 4/6 分隔,帮助大家理解概念后再使用大量的实例加深对概念的理解; 实例操作是对概念最好的理解,也是学习新语言最有效的办法; 在课程中也穿插着大量软件开发的技巧和大家分享; 应该是把晦涩的正则表达式讲解的最生动的课程; 掌握了正则表达式后,您一定会觉得这是一门最值得掌握的语言。
926 0
十分钟上线-基于函数计算开发 Restful web api & asp.net core web app
.NET Core是一个开源通用的开发框架,支持跨平台, 阿里云函数计算推出了 dotnetcore2.1 runtime, 使用 C# 编写 serverless 函数, 除了很好地支持通常意义上的函数外, 还可以基于函数计算开发 asp.
4539 0
阿里亚马逊云计算上演美洲狮对决大陆虎
本文讲的是阿里亚马逊云计算上演美洲狮对决大陆虎【IT168评论】对平台型公司来说,争夺用户是一方面,扩展自己平台的生态系统才是正经事和未来。而云计算正是未来互联网生态系统的基础。亚马逊的云计算早已成为其关键业务并具备技术优势,阿里云计算则相对具有本土优势及商业数据积累带来的机会。
2451 0
【报名】【阿里云飞天技术汇】“阿里云在线直播技术与应用分享”主题沙龙·北京站开始报名啦
如何快速搭建移动直播系统?在互动直播中如何降低延时?视频直播的经典案例应用?那么,锁定“阿里云在线直播技术与应用分享”沙龙,届时阿里云专家将会一一为您解答!
1339 0
+关注
阿里云头条
你关注的阿里云!
979
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载