混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云对象存储用户众多。很多用户需要对OSS内的数据做线上或者线下的备份。本文介绍的基于云存储网关和混合云备份的OSS数据备份方案,不仅能保证OSS数据按策略的多版本备份,而且配置简单,性能好,效率高,成本低。
  • 前言

阿里云对象存储(OSS)用户众多。很多用户因为业务或者合规性需求,需要对OSS内的数据做备份,无论是线上备份,还是线下备份。用户可以选择使用OSS的开放API,按照业务需求,做数据的备份,也可以选择OSS已有的服务进行数据备份,比如OSS的跨域复制。但是,前一种方式,存在易用性和备份效率问题;后一种方式,只是将数据存双份或者多份,无法有效规避原始数据出问题后,被复制的那份数据也出问题的风险。本文介绍的基于云存储网关和混合云备份的OSS数据备份方案,不仅能保证OSS数据按策略的多版本备份,而且配置简单,性能好,效率高,成本低。

  • 基于云存储网关和混合云备份的OSS备份

以下是基于混合云产品的OSS备份方案架构图。首先,通过一台云存储网关将OSS bucket中的文件反向同步至网关缓存中;在一台ECS上挂载云存储网关的目录,并安装混合云备份agent;最后,配置混合云备份策略和任务即可方便地将存储网关中的文件多版本的备份在云灾备库中。

image

基于混合云产品的OSS备份架构图

- 实施与配置

首先,用户需要登陆阿里云控制台,开通云存储网关服务 。此处需要注意一点:出于备份性能和效率的考虑,云存储网关和之后的混合云备份的区域应该跟备份源端OSS所在的区域一致。

这里我们创建一个性能型的云存储网关,保证OSS数据同步到云存储网关,以及后续云存储网关上的数据备份到灾备库的带宽和性能有保障。当然,用户完全可以根据OSS内的数据总大小和增速,文件数目,单个文件的大小来决定选用哪种类型的云存储网关。


image

创建云存储网关

创建完成之后,进入网关的管理配置页面,进行简单的三步配置:缓存设置,云资源设置和挂载目录设置。

image

云存储网关管理页面

缓存设置是将网关的缓存配置生效的过程。点击创建,选择可用的缓存盘即可完成创建。

image

缓存设置

云资源设置是将OSS bucket与云存储网关连接的过程。用户只需要选择同步的bucket名称即可。云存储网关支持SSL加密连接OSS,保证数据传输的安全。

image

云资源设置

目录设置是对客户端提供挂载目录的过程。云存储网关支持NFS和CIFS两种通用的NAS协议。这里我们配置NFS挂载目录。需要注意的一个配置项是‘反向同步’。因为我们需要将OSS bucket内的文件同步至云存储网关上,因此,反向同步需要选择‘是’。另外,‘模式’保持默认的‘缓存模式’。这样云存储网关只保留热数据及冷数据的元数据。而同步模式则是缓存盘大小和云上OSS的文件总大小保持一致。注意到高级设置中有‘方向同步时间间隔’一项,它的作用是让网关每隔多久去OSS拉去最新的文件,并同步到网关上。放在整个方案中考虑,该选项无需设置的很短,因为之后的混合云备份是按照小时或者天级别来定义周期性备份的,所以比较合理的设置是让云存储网关以小时级去反向同步OSS的数据。

image

NFS目录配置

至此,云存储网关上的配置就全部结束了。接下来,需要申请一台ECS来挂载云存储网关提供的NFS目录。这里申请一台内网带宽高的ECS与高性能网关的带宽匹配。之后,就可以去开通混合云备份了。开通之后,选择好区域之后,也只需要简单的三步即可:创建备份库,下载安装备份agent和备份策略和任务的配置。

创建备份库,十分简单:给备份仓库取名字,确定备份类型和下载客户端和证书。

image

创建备份仓库

image

选择备份类型

image

添加客户端

image

下载客户端和证书

将下载完成的客户端软件上传至之前申请的Linux ECS上,解压并安装。

image
image

上传并安装备份客户端

安装完成之后,在浏览器上打开这个URL:http://<云主机公网IP>:8011。之后,会弹出备份客户端的注册页面。需要用户输入之前下载的证书(注册和连接备份源和备份仓库的钥匙),AK认证信息和客户端登陆密码。因为备份的整个链路都在阿里云网内,所以网络类型需要选择‘专有网络(VPC)’。

image

备份客户端注册页面

注册成功之后,用户就能看到客户端备份页面。该页面是用户创建备份和恢复数据的入口。在备份之前,记得要将云存储网关的NFS目录挂载在这台ECS上。再回到备份客户端页面,可以先创建一个计划备份(立即备份是只备份一次,计划备份是按策略周期性的备份)。创建计划备份需要先创建一个备份策略。这里定义一个每天下午5点半开始的备份策略。备份数据会在备份库中保存2年的时间。

image

创建备份策略

接下来就是创建备份了。将ECS的挂载目录输入到源地址中,选择‘计划备份’和之前创建的备份策略,提交即可。

image

创建计划备份

提交之后,就看到了备份任务。看详情的话,就知道上次备份的状况和下次备份的时间。

image

计划备份详情

当时间到了之后,备份就会被自动触发。可以看到备份任务正在扫描文件总数和数据总量,并实时地显示备份速度。

image

执行中的计划备份任务

下图是备份过程中的一些统计。需要指出的是状态中的进度百分比会出现抖动,有时候会低于之前的进度。这是因为在统计备份进度的时候,是根据已备份的数据占总计备份文件的比例。因为云存储网关在不停地反向同步OSS的文件,这样就会在扫描文件的时候,出现备份文件的性能跟扫描文件性能交替的情况,导致用户看到的进度不是一直递增的。有些时候会出现进度变成了100%,但实际上,云存储网关马上又会同步很多新文件给备份服务去备份,进度又会变成90%多。

image

扫描完成后的计划备份任务

image

OSS上的文件数和存储空间统计

在备份进行中,还可以去云存储网关的监控页面查看缓存和网络吞吐性能。从下图可以看出来,网关从下午5点钟的时候就一致在持续从OSS中读取文件到被备份的ECS所读取。

image

云存储网关性能图

等待备份完成,可以看到这次备份的文件总数,和上面OSS控制台看到的文件数目是一致的。另外,就是用户最为关心备份性能,44.88MB/s。通过文件总大小和总数计算出,文件的平均大小为6.8MB左右,属于中等偏下的文件规格。考虑到很多目录结构很深,这样的备份性能是十分不错的。另外,因为云存储网关反向同步写磁盘和备份服务读磁盘,对于200G的缓存盘而言,也接近瓶颈了。如果用户的备份数据量比较多,单个文件更大,并且还想提高备份性能,可以增加缓存盘的容量。这种场景下,几百MB/s的备份性能也是可以达到的。

image

备份完成

还可以去控制台的混合云备份页面查看控制台上的备份仓库信息。可以看到进行了1次备份,也成功了。关键的信息是右侧的原始数据和实际占比。可以看到经过混合云备份后的数据,实际占用是1.31TB,小于原始数据的大小,因为混合云备份在将备份数据写到备份库的时候,对数据做了重删压缩。

image

备份库信息

  • 总结

云存储网关和混合云备份服务搭配的OSS备份方案是一款云原生的OSS备份方案,可以在阿里云控制台一站搞定。整个方案不仅可以满足OSS用户对于备份性能和多版本的要求,而且非常有性价比。云存储网关目前处于开放公测阶段,是免费的。混合云备份服务是按照备份客户端数目和去重压缩后的备份库容量收费,既可以按需购买,也可以购买资源包,灵活且用户友好。

另外,所有用户都会关心备份的数据一致性和数据安全。在整条备份链路中,云存储网关反向同步OSS数据到缓存盘的时候,会有数据一致性校验;在备份服务读取缓存盘数据,再写到备份库的时候,也有一致性校验。并且,整条备份链路是数据加密的。当数据写到备份库的时候,备份库的三副本技术也确保了用户数据万无一失。

最后,当用户需要恢复数据的时候,混合云备份服务可以细粒度到按文件恢复到指定目录,结合云存储网关的跨VPC访问的特性,可以做到数据恢复和分发的灵活性。

相关实践学习
一小时快速掌握 SQL 语法
本实验带您学习SQL的基础语法,快速入门SQL。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
相关文章
|
13天前
|
前端开发 Java 应用服务中间件
Springboot解决跨域问题方案总结(包括Nginx,Gateway网关等)
Springboot解决跨域问题方案总结(包括Nginx,Gateway网关等)
|
13天前
|
存储 运维 安全
HBR混合云备份:打造高效、安全的灾备新方案
HBR混合云备份:打造高效、安全的灾备新方案
|
8月前
|
存储 Linux API
如何经济高效使用云存储网关对接OSS存储
存储网关是一款可以为OSS存储提供文件访问接口的产品,从而用户可以像使用NAS一样在Windows/Linux操作系统里面直接挂载OSS进行使用。众所周知,OSS存储具有多种存储类型。那么对于所有的存储类型,云存储网关是否都适用呢?本文将围绕这一话题,展开一些探讨。
170 0
|
13天前
|
安全 Serverless 对象存储
请问OSS备份和HBR混合云备份时一样的吗?有了OSS备份还需用HBR备份吗?
请问OSS备份和HBR混合云备份时一样的吗?有了OSS备份还需用HBR备份吗?
41 0
|
8月前
|
弹性计算 关系型数据库 MySQL
使用HBR快速上手备份ECS/OSS/NAS/MYSQL
本场景带您体验如何通过混合云备份HBR,实现云服务器ECS的备份、恢复和克隆,对象存储OSS的备份和恢复,文件存储NAS的备份和恢复。
191 0
|
8月前
|
存储 监控 安全
利用HBR实现OSS文件备份
您存储的数据可能会遭遇病毒勒索,文件误删除的情况。本场景主要介绍如何使用HBR为对象存储OSS中存储的数据进行备份,保证数据安全并可及时恢复。
103 0
|
10月前
|
设计模式 安全 Java
基于设计模式改造短信网关服务实战篇(设计思想、方案呈现、源码)
基于设计模式改造短信网关服务实战篇(设计思想、方案呈现、源码)
225 0
|
存储 容灾
《混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布》电子版地址
混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布
157 0
《混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布》电子版地址
|
存储 Kubernetes 文件存储
使用阿里云容器ACK通过云存储网关(CSG)挂载OSS
本文将详细介绍如何使用阿里云容器服务ACK通过云存储网关挂载OSS。
1248 1
使用阿里云容器ACK通过云存储网关(CSG)挂载OSS
|
Java 测试技术 应用服务中间件

相关产品

  • 云存储网关
  • 混合云存储
  • 对象存储