演讲嘉宾简介:
数梦工厂 云计算产品线首席架构师 陈磊
阿里云产品专家 陈博
阿里云高级技术专家 陈伟才
阿里云产品专家 崆闻
本次分享主要包括以下内容:
一、
专有云建设方案现状
二、
ABS技术详解
三、
Q&A
一、专有云建设方案现状
数梦工厂主要服务于政府和企业客户的专有云建设,具备丰富的专有云建设经验,深刻地了解客户的需求和痛点。在项目中发现,大部分的客户都采用标准的X86服务器加集中式存储设备作为专有云的建设方案。在这种情况下,由于集中式存储设备的局限性,会导致一些限制和问题。
第一点是建设周期比较长。在一些专有云建设中,客户要求采用标准服务器加集中式存储来搭建专有云,由于专有云的硬件设备是高度定制的,它的到货周期比较长,导致整个专有云建设的周期都会比较长。在这样的情况下,可能会出现无法满足云服务的快速上线和业务快速上线的需求。
第二点是运维的复杂度较高。以政府为例,在采购集中式存储设备时,由于周期的迭代,可能会分批采购。在政府的IT环境中可能有多套存储设备,不同设备的存储架构可能不一样,运维的手段也可能不一样。没有统一的运维手段就造成整体的运维复杂度非常高,并且对运维人员的素质要求也非常高。
第三点在于规模和性能的可扩展性上。比如说,在运营商项目中,他们后续需要给指定客户提供云租赁的服务,随着用户量的增长和业务量的增长,数据存储的规模也在不断扩大。但由于集中式存储设备的架构限制,它的规模和性能无法随着节点的增加而进行线性的增长,对整个专有云的建设造成了限制,同时,对经济效益也有很大的影响。
第四点,由于大部分客户在集中式存储的建设上采用分割式的建设方式,存储设备是独立的,数据也是割裂的,就会形成数据孤岛,数据搬迁的成本非常高。对后续的数据汇聚和迁移造成了很大的影响。
因此,从整个市场的角度和客户需求角度考虑,现在急需一个稳定可靠的,可扩展的存储设备来服务客户,满足客户的相关业务需求。
ApsaraBlockStorage这样一款企业级的分布式块存储产品。它可以帮助客户,尤其是政府、公共事业、金融业、制造业的客户在线下的数据中心中,构建一个高性能、有弹性能力,高可靠性,可大规模横向扩展的分布式存储平台。它能很好地满足客户在云时代下对数据敏捷存储的业务需求。
二、ABS技术详解
1. 软件定义存储Software-Defined Storage
在专有云建设方面,阿里云采用的是软件定义存储Software-Defined Storage,希望通过软件的方式做到以下几点:
一、把一切硬件的资源抽象化,比如可以抽象成硬盘、镜像、快照甚至是资源池、隔离域。
二、资源池化。由于企业的存储方面有很多存储设备,通过软件定义存储的方式可以把所有的存储资源统一起来,形成以一个资源池,统与用户进行交互。
三、服务化,通过RESTful这样的API,使得用户可以轻量地将自己的系统和块存储系统进行对接,甚至用户可以根据业务场景对服务化API进行编排,当业务发生变化时,可以预先制定一些动作(比如扩大一块盘、新建一块盘等)。
四、ServerSANA。众所周知,阿里巴巴的飞天系统是自主可控的,可以支撑10K以上的服务器,是一个超大的ServerSAN存储解决方案。
2. 资源在线弹性变配
阿里云希望抽象出的资源是在线弹性可变的。举例而言,当资源不足时,希望在不影响整个业务使用的前提下,可以动态地增加资源。下面就以一个实际的案例来介绍,ABS是如何实现这种弹性变配的。
以磁盘为例,第一种情形,磁盘容量扩充:比如原本有一块100G的磁盘,当空间不足时,如果没有这种变配方式,那么就必须将磁盘中的所有数据先备份到另一块更大的磁盘中。而在ABS系统中 ,由于使用的是软件定义存储的方式,可以在线调配存储容量,而用户对这些操作是无感知的。
第二种情形:磁盘性能调配。由于存储解决方案中使用了ServerSAN所有的资源都在一个资源池中。这就会导致争抢,需要采用QoS进行保护。然而,当业务增加时,之前设置的单块盘性能可能无法满足业务的发展。通过ABS平台可以在线调配QoS,这一过程中,用户是无感知的。
第三种情形:磁盘的类型。在过去使用的都是机械硬盘,速度非常慢。但随着技术的发展,出现了SSD这样的高性能磁盘。那么大家就会思考一个问题,过去HHD上的数据该如何迁移到SSD上呢?过去的想法是用两根数据线进行对接和拷贝。而在ABS系统中,可以直接通过调用API将HHD中的数据迁移到SSD。同样地,在这一过程中,业务不会受到影响。
第四种情形:磁盘的冗余度。为了保重数据的高可靠,通常我们会选择进行数据备份。目前业界的标准是,一份数据存三份。但有时有些业务场景的要求可能更高,或者有时不需要太多冗余数,通过ABS可以实时地调整冗余数。
3. 全方位的数据保护套件
数据存储有一个基本原则,就是数据不丢失、无错误。因此,面对企业级市场我们提供了如下保护措施。
第一,
备份。ABS的备份是基于云的备份,支持异地、异构备份,RPO一般为24小时。对于数据保护要求比较低的数据,我们一般会采用备份方案。
第二,
快照。快照相对于备份来说,使用更加灵活。快照是瞬时的,增量的(每一次做快照时,只有被修改的数据才会被保存下来)。快照的RPO一般为若干小时。
第三,
持续数据保护。在有些行业比如银行中,会希望每一次操作都能被记录下来。ABS可以记录每一次操作的I/O,RPO可以做到秒级。
从天级到秒级的保护措施完全满足的企业级市场对数据保护的要求。
4. 灵活的部署架构
左图展示的是分离部署架构。这种架构的适用场景包括大型的国企、政府部门对数据存储有极大的需求,同时有很强的适配能力。采用分离部署架构,可以使得计算和存储分开进行部署。而对于一些小型的组织机构,他们没有很大的集群规模,无法部署分布式的架构,这时就可以采用右图超融合部署架构。一个服务器既可以部署计算功能也可以部署ABS的功能,且两者不会干扰。
5. 无缝对接主流的云平台
ABS是开放的,它可以无缝对接主流云平台,如OpenStack、Docker等。这些对接都可以通过前面提到的服务化API来低成本、高效地完成。在对接过程中,我们提供了比较灵活的接口,包括Linux Block Driver、Virtio-blk、iSCSI。
下面以OpenStack为例详细介绍它是如何与ABS进行对接的。左图是OpenStack的系统架构,右图是ABS的架构。如图所示,通过服务化API,用户只需要在OpenStack/Cinder中开发一个driver就可以无缝地将两者对接。用户所操作的还是OpenStack,而ABS就是一个透明的底层基础设施。
Demo演示见视频。
三、Q&A
下面是有关产品的一些热点问题的解答。
1. Q: 为什么会选择现在这样的时间点来发布这款产品?
A: 阿里云在现在这样的时间节点上推出这款产品主要有两个原因或者说是驱动力。第一,客户的需求。在过去的几年中,不管是阿里云还是数梦,在与政府、金融企业打交道的过程中,这些客户对阿里云在公有云方面的技术和产品都比较认可。但在他们各自的线下数据中心中,也同时会有他们自己私有的计算平台。他们也会非常希望在他们自己的私有平台也能享受到阿里云块存储产品,以提高在弹性能力、性能、可靠性方面的数据服务能力。第二,近几年来云计算已经深入到各行各业,很多企业正在进行数字化转型。存储,作为整个IT系统的基础部件,它的重要性越来越高。而ApsaraBlockStorage的定位是一款软件定义存储产品,这也是这款产品的核心设计理念。这样的设计理念主要是为了实现:第一,软件和硬件实现真正解耦;第二,客户的业务应用(存储平台、品牌、硬件规格)可以真正实现在数字化转性阶段,客户对开放、兼容、弹性、可靠性这些方面的需求。从一些咨询报告的数据来看,全球软件定义存储的年复合增长率大概在44%,而在中国市场对软件定义存储的接纳度更高,年复合增长率大概在100%。总体而言,就是客户的真实需求和行业趋势决定了我们在这个时间点推出这款产品。
2. Q: 这款产品有哪些典型的客户和适用场景。
A: 政府、公共事业、教育、金融行业的客户有一个特点,他们一般都有自己的线下数据中心,并且有了一套相对完善和成熟的整体架构,同时也想往云平台转型。而ApsaraBlockStorage这款产品,在转型过程中,在存储方面为他们提供了一个很好的选择。同时,在新兴的互联网行业中,数据的存储量是具有不确定性的,根据业务的增长,数据可能会出现大规模增加。ApsaraBlockStorage这款产品就非常适用于这个场景,可以根据业务量的增长和数据量的增加,进行弹性的扩充。并且,互联网行业对数据可靠性要求比较高,而这款产品经过了阿里云业务的验证,它的稳定性和可靠性是值得信赖的,它可以对互联网行业的业务需求进行有效的支撑。
3. Q: ApsaraBlockStorage这款产品相对于其他云厂商来说,它的特定在哪里?
A: 实际上,现在很多厂商都在做软件定义存储产品,那么阿里云推出的这款产品的优势在哪里?首先,在很多产品指标上,ApsaraBlockStorage具有一些优势,这里不进行详细介绍。从整个架构角度来说,阿里云有以下几个方面的优势:
第一,
ApsaraBlockStorage这款产品继承了阿里云将近十年的技术积累,我们的产品服务于上百万的客户,有上千PB的数据量在线运行。IT系统主要包括三个部分,计算、网络和存储。相较于计算和网络,存储属于IT架构中的基础学科,它有比较高的技术门槛,研发的复杂度相对较高,需要长时间的研发投入和打磨。在这一点上,阿里云相对于其他的厂商,尤其是一些初创型的公司,具有更多的技术积累。
第二,
阿里云属于阿里巴巴集团,我们的产品和技术在阿里巴巴集团中包括电商、支付中已经经过了非常严苛的业务场景的验证。经过了比如双十一这样的业务场景的极端考验后,我们对业务场景有更加深刻的理解,能很好地应对数据库、中间件这些对性能、可靠性要求非常高的场景。 同时,我们在技术方面也有很大的优势,这一点,前面已经进行了详细介绍,这里不再赘述。
4. Q: 在专有云存储产品方面,客户面对着大量、丰富的产品该如何做出最合适的选择?
A: 目前有非常丰富的专有云存储产品可供选择。每一款产品都有不同的接口协议,吞吐和时延。对于ABS块存储,它的主要操作对象是磁盘,具有低时延和高IOPS。它一般应用于特定的业务系统,是政府、金融、制造业这些客户搭建云资源时的首选。同时,我们还提供对象存储。对象存储的主要操作对象是文件,可以提供S3、RESTful API,可以为互联网用户提供丰富的图片处理能力,也能适用于视频监控,云备份等产品需求。同时,我们还提供文件存储的功能,操作对象主要是文件或者文件夹,有NFS、CFS协议,主要应用于音视频和高性能计算。除此之外,我们还提供表格存储功能,主要用于海量结构化的和半结构化的数据的存储和实施的增删改查,并且能支持单表的千万级的并发。表格存储主要对数据的高可用和规模性有较高的要求。总体来说要根据客户的业务特点和访问模式来提供最适合的存储方案。这些内容可能相对比较专业,下面用一种更为直白的表达方式便于大家理解。ApsaraBlockStorage这款产品就像是自己的数据中心服务器中的本地硬盘一样。为大家提供一个低延时、高性能的本地存储访问。它属于IT系统建设中不可或缺的一环。对象存储、文件存储主要是针对文件或者Object进行操作。它就像一块外置的移动硬盘,可以很方便的进行文件访问。同时,通过外界的方式,达到一种松耦合的关系,提供了海量的空间来存储非结构化的数据。
5. Q:ApsaraBlockStorage这款产品的现状如何,比如是否可以购买,怎么购买?
A:ApsaraBlockStorage这款产品已经可以购买了,并且可以在线下的用户环境进行测试、部署。并且这款产品已经在能源行业经过了用户的测试验证,完成了与用户的其他系统的对接,接下来马上会进行大规模的交付和使用。但这款产品与公有云产品有一些区别,公有云产品可以直接在线上购买并开通使用。但ABS这款产品地定位是在线下的数据中心部署使用的。在购买时,需要联系阿里云或者阿里云的合作伙伴(如数梦工厂),进行线下的点对点的项目调研和沟通。
6. Q: ApsaraBlockStorage这款产品中可以使用的磁盘类型。
A: 在底层使用了软件定义存储的设计理念,兼容了传统的机械硬盘和SSD。用户可以用多种磁盘作为介质来搭建资源池,在此之上提供不同QAS服务,这些服务既可以来自于SSD也可以来自于SATA的,甚至SSD与SATA混合的介质。用户可以自主进行选择。
7. Q: 快照的存储节点是和ABS一起卖的吗?
A: 目前ABS中存储节点和快照节点是一起对外输出的,只要购买了ABS这套服务就拥有快照等这些数据保护方案。
本文由云栖志愿小组马JY整理