从混合云存储看阿里云对下一代企业计算架构的思考

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 阿里云在2019年最后一个月发布了针对混合云的两款产品:入门级混合云存储阵列SA2100以及混合云CPFS一体机,加上2019年发布的混合云存储阵列中高端产品SA2600、3600、5600以及基于容器的ACK混合云2.0等,阿里云已经为2020年混合云市场的全面激活做好了准备。

云栖号:https://www.aliyun.com/#module-yedOfott8
第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

image
阿里云在2019年最后一个月发布了针对混合云的两款产品:入门级混合云存储阵列SA2100以及混合云CPFS一体机,加上2019年发布的混合云存储阵列中高端产品SA2600、3600、5600以及基于容器的ACK混合云2.0等,阿里云已经为2020年混合云市场的全面激活做好了准备。

混合云存储阵列SA系列融合IP SAN、FC SAN、NAS和OSS对象存储协议于一体,而CPFS主要面向海量小文件存储场景,二者可满足企业存储的大部分需求,而SA系列与CPFS一体机都可部署在企业数据中心,与阿里云公共云无缝对接,企业无需改变现有的IT架构,就能从企业本地数据中心充分利用公共云存储易于扩展、快速灵活部署的优势。

阿里云智能存储资深总监Alex Chen表示,阿里云存储集合十年的技术积累下沉服务企业级客户,从混合云存储角度推动传统企业加速上云,让传统企业客户可以放心使用本地和云端混合部署的存储解决方案,真正打通上云的数据“高速路”。

image

(阿里云智能存储资深总监Alex Chen)

相对于传统企业存储厂商来说,阿里云的混合云方案原生带有大规模公共云服务和实践经验;而相对于公共云服务厂商来说,阿里云更有向混合云进行投入的决心。

Alex Chen强调,阿里云对于混合云的决心并不仅仅是丰富的硬件产品和加密、安全、迁移等软件解决方案,更是诸如购买混合云存储阵列即可赠送阿里公共云服务这样的商务方案,以及刚推出的针对企业级预算型采购的SCU按量付费、灵活置换存储类型的公共云售卖方案。阿里云要用混合云,打通公共云的最后一公里。

从大数据到新数据

早在2014年的时候,业界就提出了大数据的4个V:多样化、海量、高速度和高价值。到了2019年,随着5G大规模商用的起步,大数据的时代才真正到来。然而,今天的企业不仅面临着大数据的挑战,还面临着移动互联网和人工智能所带来的新数据挑战,以及越来越严格的政府和行业数据监管要求。

在大数据方面,随着数字经济和数字社会的快速发展,企业依然面临着每年数据量剧增的大趋势。这直接导致对数据中心投资的大幅增加,根据赛迪顾问的数据,2018年中国数据中心IT投资规模达到3257亿元,比2017年同期增长17.8%,其中硬件投资占46%;而预计未来3年中国数据中心市场规模将保持13.6%的增长速度。

但是企业自建数据中心的速度远远跟不上移动互联网场景下的新型数据场景,特别是脉冲式数据现象。近年来电商带来了脉冲式数据流,特别是以每年阿里的双十一为典型代表。2009年的时候,双11零点峰值交易笔数为400笔/每秒,而到了2019年则达到了54.4万笔/每秒,脉冲式数据峰值十年实现了1360倍的增长,直接导致对各种存储和日志服务需求的十倍和数十倍增长。在阿里双11的带动下,全社会也出现了双11、双12、各种秒杀等脉冲式数据现象。

image

在人工智能方面,智能图像视频识别和智能语音识别的需求正在爆发,不仅带来了各类图像、照片、视频和语音数据的大规模增长,例如直播应用一天产生的视频数据量就以TB甚至PB计,而连接千万用户的智能音箱、智能语音助手等产生的语音数据更是爆发性增长。更为重要的是一个深层神经元网络的参数就可能达亿计、芯片计算量可达百亿次/秒,AI并行并发计算的特性要求大量数据交换和移动,提出了计算存储一体化或统一化的挑战。

而基因计算、容器计算等海量小文件、低时延、高IOPS、无缝快速切换数据副本等新兴数据和计算场景,以及对企业关键关系型数据的统一管理等,都对企业级存储提出了新的需求。此外,越来越严格的政策和行业法规遵从,例如2017年10月实施的新版《民用运输机场安全保卫设施》标准(MH/T 7003-2017)要求机场安保数据的存储从原来的30天升级为90天,而2018年5月的欧洲GDPR也对数据存储有要求,不同的国内外合规遵从不断对全球化运营的企业提出存储新需求。

在新兴数据及数据存储需求下,企业级存储面临着更可靠、更高性能、更灵活、弹性扩缩容和简化运维的新挑战。

公共云视角下的混合云

企业新兴的数据需求以及对于企业级存储带来的挑战,已经不能从自有数据中心存储角度加以解决,公共云视角下的混合云正在成为企业级存储创新的方向。

市场咨询与研究公司Wikibon指出,当前正在进入云的第三个发展阶段:云的企业阶段。Wikibon的调研显示,2019年将是企业开始建立具体的长期云战略的一年。而在云的第二个阶段,大数据向云迁移且建立了AI和机器学习分析等创新模式,但企业的ERP等高价值核心应用并没有向云迁移。随着新的边缘数据和本地核心数据源的出现,企业数据趋于保留在本地和边缘,相反的是云服务将移向本地核心和边缘移动。

从公共云数据中心、本地数据中心和边缘数据中心等视角下来看,混合云更多指的是包括了所有IT形态的混合IT&多云环境下的IT资源管理,而非本地存储资源的虚拟化(也就是之前流行的企业级存储虚拟化)。而所谓的分布式存储软件,也将扩展到公共云、本地和边缘计算存储资源的统一管理,也就是云上、云下的一体化。这是公共云视角下的混合云存储,与企业数据中心的存储虚拟化以及基于开源软件的数据中心分布式存储的最大区别。

传统数据中心视角下的混合云存储,将公共云存储视为补充的扩展资源,作为备份及灾备的方案;而公共云视角下的混合云存储,是把企业本地存储视为一整套存储与计算方案中的一个部分与环节,通过公共云软件对云上云下存储和计算统一管理,以满足脉冲计算、基因计算、AI与机器学习等新型计算与数据存储的需求,而这就是阿里云的混合云思路。

Alex Chen强调,在存储硬件越来越标准化的今天,本地环境下的企业级存储以及分布式文件存储等场景的创新空间已经越来越小,更大的创新空间实际上来自公共云下沉到企业本地以及云上云下的计算与资源联动。例如阿里云在国内所有Region提供了同城冗余能力,也就是上传到阿里云的数据有3个备份,分别存放于3个不同的数据中心,如果一个数据中心出现问题,另外2个数据中心还可以继续提供服务。而同城冗余存储提供了数据12个9可靠性,也就是存储100万文件到阿里云,在100万年内不会有任何的数据丢失。

同城冗余存储是阿里云对象存储OSS最近发布的产品,阿里云对象存储OSS多年支撑双11业务高峰,历经高可用与高可靠的严苛考验,其多重冗余架构设计为数据持久存储提供可靠保障,基于高可用架构设计可消除单节故障、确保数据业务的持续性。

阿里云的文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统,提供对数据毫秒级的访问和高聚合IO、高IOPS的数据读写请求,可用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析、机器学习、大数据分析以及影视渲染等业务场景中。

阿里云的NAS文件存储则可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC、AI训练PAI等计算业务上,提供高性能的共享存储。值得一提的是极速型NAS是针对海量小文件场景提供百微秒级低时延和高IOPS访问,解决了传统存储云化架构下海量小文件访问出现的过大时延导致web网站访问缓慢、容器集群批量启动时并发读取配置文件卡顿、DevOps持续集成效率低下、实时日志分析文件系统负载过高等问题。

而阿里云块存储服务推出的ESSD云盘,是阿里云推出全球首个跨入IOPS百万时代的云盘,单盘IOPS高达100万,比SSD云盘快40倍,这是阿里云迄今为止性能最强的企业级块存储服务。除ESSD外,阿里云块存储类型丰富,包括SSD云盘、高效云盘、普通云盘、NVMe SSD本地盘、SATA HDD本地盘、SSD共享块存储、高效共享块存储等多种磁盘类型,满足不同业务场景需求。2019年的技术更新包括单云盘最多可保存1000个自动快照,ESSD在线最大扩容32TB(即无需停机)等。

Alex Chen介绍,阿里云存储的软件特色还包括:安全方面支持服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、WORM特性,获得多项合规认证,包括SEC、FINRA等,满足企业数据安全与合规要求;提供标准、低频、归档多种类型,通过生命周期自动化实现数据类型转换与过期管理,覆盖从热到冷多种存储场景;提供RESTFul API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式,可以随时随地通过网络管理数据等。

image

实际上,在过去十年里阿里云在存储方面有着大量的创新场景和创新技术,更多是与计算类型相结合的存储技术和系统创新。从2008年开始,阿里云存储在规模化,可靠性、性能和稳定性,便捷性以及软硬一体化等四个方向发展,在这个过程中积累了大量的创新甚至是自研芯片、自研协议和自研硬件以实现更加极致的存储体验。

把云存储推向企业

2019年11月,总部位于澳大利亚的动画和视觉效果工作室Animal Logic宣布正与阿里云开展合作,将本地制作内容备份到阿里云中,以满足不断增长的媒体制作需求。Animal Logic的作品包括《X战警:逆转未来》、《乐高大电影》以及《复仇者联盟2》,而Animal Logic对澳大利亚本地的公共云服务商进行了严格的评选,最终阿里云胜出。

Alex Chen认为,阿里云能在澳大利亚市场中胜出,证明了阿里云的能力以及建立了企业市场的信心。在国内市场,国内知名智能汽车制造商小鹏汽车即将采用阿里云文件存储CPFS来对训练过程中的模拟数据进行计算。CPFS不仅能解决小鹏汽车日均几十TB数据挑战,还能帮助AI系统迅速处理数据,加速汽车在复杂路况和驾驶技巧的训练速度。小鹏汽车物联网与商业技术高级总监谭蔚华表示,阿里云在数据采集、数据传输和计算处理全链条上提供了全方面的改善,帮助小鹏汽车提升了车联网技术的协同研发效率40% 以上。

在看到了企业市场的需求后,阿里云也加快了把云存储服务向企业本地数据中心推进的进程。本次发布的企业入门级混合云存储阵列SA2100,是专门为中小企业及大型企业分支机构设计的本地部署混合云存储阵列产品,企业无需更改原有的IT架构就可以像使用传统企业存储设备一样使用阿里云混合云存储阵列。而SA2100的本地存储空间和云端存储空间可以实现多副本跨区域保护,提供12个9的数据高可靠性。

混合云存储阵列SA2100提供了丰富的企业特性:在硬件设计方面,采用全冗余架构,支持数据加密、ACL及快照、卷克隆、卷镜像、远程复制等企业存储特性,与阿里云公共云存储无缝结合;在产品配置方面可扩展FC、万兆、千兆主机接口,支持最多300块SSD、SAS、NL-SAS等类型硬盘组合,精细匹配业务不同需求。

而本次发布的CPFS混合云一体机也与阿里云公共云的存储资源无缝打通,帮助企业无缝上云,实现“云下资源可控,云上弹性伸缩”的多级存储池架构。

此外,阿里云创新地引入了存储容量单位包(Storage Capacity Unit,以下简称SCU),可以用来抵扣多种不同类型云盘的按量付费账单。作为一种创新型的售卖形态,SCU让预付费企业可在不同类型存储产品之间转换,而无需繁琐、冗长的财务流程。Alex Chen强调,公共云是由互联网公司发起的,其售卖方式并不适合企业级预算型用户,而SCU正是阿里云存储对企业级客户的创新。目前SCU并不包括本地部署的阿里混合云产品,未来时机成熟时将扩展到企业本地。

image

从目前阿里云的混合云存储产品和服务的布局来看,下一代企业级计算架构将向着分布式和云化架构相融合的方向发展,这种所谓分布式云架构即把公共云服务拓展向各个物理位置而主要由公共云厂商进行管理、运维和治理等工作,各类集群分布在客户数据中心、边缘和云数据中心并通过统一管理而实现场景创新,当然企业对于本地部署的IT资源可以选择更大自主权以满足合规等要求。

总体来说,阿里云所推动的混合云创新还在演进中,还在根据企业级客户需求、市场发展趋势以及阿里云技术进展而不断寻找公共云服务与本地管控IT资源之间的平衡点。不过可以肯定的是,公共云服务下沉到企业本地数据中心的混合云,将是下一代企业计算架构的大方向。

原文发布时间:2019-12-11
本文责编:wuqiuying
本文来自云栖社区合作伙伴“CIO时代”,了解相关信息可以关注“CIO时代

云栖号:https://www.aliyun.com/#module-yedOfott8
第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

相关文章
|
9天前
|
弹性计算 运维 监控
阿里云云服务诊断工具:合作伙伴架构师的深度洞察与优化建议
作为阿里云的合作伙伴架构师,我深入体验了其云服务诊断工具,该工具通过实时监控与历史趋势分析,自动化检查并提供详细的诊断报告,极大提升了运维效率和系统稳定性,特别在处理ECS实例资源不可用等问题时表现突出。此外,它支持预防性维护,帮助识别潜在问题,减少业务中断。尽管如此,仍建议增强诊断效能、扩大云产品覆盖范围、提供自定义诊断选项、加强教育与培训资源、集成第三方工具,以进一步提升用户体验。
652 243
|
13天前
|
存储 机器学习/深度学习 人工智能
【AI系统】计算图优化架构
本文介绍了推理引擎转换中的图优化模块,涵盖算子融合、布局转换、算子替换及内存优化等技术,旨在提升模型推理效率。计算图优化技术通过减少计算冗余、提高计算效率和减少内存占用,显著改善模型在资源受限设备上的运行表现。文中详细探讨了离线优化模块面临的挑战及解决方案,包括结构冗余、精度冗余、算法冗余和读写冗余的处理方法。此外,文章还介绍了ONNX Runtime的图优化机制及其在实际应用中的实现,展示了如何通过图优化提高模型推理性能的具体示例。
45 4
【AI系统】计算图优化架构
|
16天前
|
机器学习/深度学习 人工智能 API
【AI系统】昇腾异构计算架构 CANN
本文介绍了昇腾 AI 异构计算架构 CANN,涵盖硬件层面的达·芬奇架构和软件层面的全栈支持,旨在提供高性能神经网络计算所需的硬件基础和软件环境。通过多层级架构,CANN 实现了高效的 AI 应用开发与性能优化,支持多种主流 AI 框架,并提供丰富的开发工具和接口,助力开发者快速构建和优化神经网络模型。
36 1
|
23天前
|
机器学习/深度学习 弹性计算 人工智能
阿里云服务器架构有啥区别?X86计算、Arm、GPU异构、裸金属和高性能计算对比
阿里云ECS涵盖x86、ARM、GPU/FPGA/ASIC、弹性裸金属及高性能计算等多种架构。x86架构采用Intel/AMD处理器,适用于广泛企业级应用;ARM架构低功耗,适合容器与微服务;GPU/FPGA/ASIC专为AI、图形处理设计;弹性裸金属提供物理机性能;高性能计算则针对大规模并行计算优化。
|
4天前
|
弹性计算 Cloud Native Serverless
阿里云 SAE 邀您参加 Serverless 高可用架构挑战赛,赢取精美礼品
阿里云 SAE 邀您参加 Serverless 高可用架构挑战赛,赢取精美礼品。
|
1月前
|
人工智能 Cloud Native 算法
|
16天前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
25天前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
40 3
|
1月前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
15天前
|
Java 开发者 微服务
从单体到微服务:如何借助 Spring Cloud 实现架构转型
**Spring Cloud** 是一套基于 Spring 框架的**微服务架构解决方案**,它提供了一系列的工具和组件,帮助开发者快速构建分布式系统,尤其是微服务架构。
128 68
从单体到微服务:如何借助 Spring Cloud 实现架构转型

热门文章

最新文章

下一篇
DataWorks