利用云存储网关和混合云备份服务备份OSS数据

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
文件存储 NAS,50GB 3个月
简介: 随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。

随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。文章“混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案”介绍了基于云存储网关和混合云备份的一种方案进行数据的备份。近日云存储网关和混合云备份服务推出了升级版的方案,不再需要一台独立的ECS客户端去挂载网关共享,而是采用了存储网关和混合云备份服务后端打通的架构,给用户带来更好的体验以及更多的实惠。下面是一张简单的架构图。
_1

配置实战

笔者在上海区域有一个OSS Bucket想要进行备份。该Bucket里面有超过100万的文件,1T左右的数据量。下面我们通过具体的实践来展示如何通过云存储网关和混合云备份服务来对阿里云OSS Bucket里面的数据进行备份。
2

云存储网关配置

网关侧的配置很简单,在开通阿里云存储网关服务之后,我们创建一个标准型的文件网关(块网关以及基础型文件网关不支持这种全新的备份方案)。然后几分钟之内我们就可以通过两个简单的步骤在云存储网关控制台创建出一个NFS/SMB的文件共享。

首先是创建缓存。
3

缓存创建成功之后,就可以对需要备份的OSS Bucket创建共享了。共享里面的文件和OSS Bucket里面的对象存在一一对应的关系。这里我们创建的是NFS协议的共享,云存储网关也支持创建SMB协议的共享。这个取决于前端应用的访问方式,如果应用是在Windows上进行数据访问,则推荐用SMB协议。如果应用是基于Linux平台的,则推荐使用NFS协议来建立共享。

要对OSS数据进行备份,我们需要利用到云存储网关的反向同步功能。这个功能是指网关会同步已经存在于OSS Bucket里面的数据到网关缓存内,从而加速本地访问。所以这里在创建共享的时候我们打开了网关的反向同步功能。反向同步的时间间隔需要根据用户OSS Bucket里面的数据量来进行设置,如果OSS Bucket里面数据比较多,建议设置较大的反向同步时间间隔,避免反向同步消耗过多的网关侧的资源。笔者的Bucket里面有100万左右文件,这里设置了36000秒的反向同步时间间隔。
4

本文虽然主要是在讨论通过云存储网关的共享来备份OSS数据的功能,实际上网关暴露出来的共享是可以通过Windows和Linux挂载并正常使用的。更多的细节以及共享的选项设置参见云存储网关的文件网关用户手册

混合云备份配置

网关侧配置完成之后,首先我们将需要备份的网关共享注册到混合云备份服务。然后我们就可以利用混合云备份服务进行备份了。我们可以通过下图中的方法跳转到备份控制台进行网关注册。
5

也可以直接从混合云备份服务的控制台进行需要备份的OSS Bucket所对应的网关进行注册。按照提示走下去就可以顺利的完成云存储网关的注册了。
6

接下来我们就可以创建备份计划了,备份计划可以指定备份窗口进行数据的备份,备份窗口的执行间隔建议设置的比反向同步的时间间隔要大一点,这样可以保证每次备份的时候我们都会从OSS Bucket执行一次反向同步,获取到当前时间点OSS Bucket里面的最新数据。需要指出的是我们可以选择只备份共享或者说OSS Bucket里面的一个子目录,通过备份路径这个选项进行设置。“/”表示备份所有共享里面的数据,“/subdir”指只备份共享根目录下面的subdir这个子目录。
7

备份计划设置好后,我们就可以定期自动备份OSS Bucket里面的数据啦。当然我们也可以通过立即执行选项手动触发备份。
8

我们通过立即执行触发了一次备份,可以看到备份的速度在100MB/s左右,还是可以的。
9

备份结束之后我们可以查看备份的整个过程,从下图可以看出我们所有的数据都已经备份成功并且没有任何错误。混合云备份服务支持重删压缩技术,实际的存储空间远远小于初始的备份数据量。
10

总结

混合云备份服务具有强大的数据保护能力,支持加密、压缩、重删,并有多副本以及CRC校验技术,保证数据快速、安全、高效地备份到云上。云存储网关具有将对象协议转换为NFS/SMB协议的能力,用户可以在Windows和Linux上挂载OSS,以文件系统的方法访问OSS Bucket里面的数据,并通过缓存技术加速访问。本文通过具体的实践,介绍了一种升级版的基于云存储网关以及混合云备份服务的OSS数据备份方案,配置简单但是功能强大。通过云存储网关和混合云备份服务后端架构融合的方式,不需要客户提供一台额外的客户端挂载网关共享,就可以实现OSS数据的备份以及恢复,更加的经济并且用户友好。

相关实践学习
利用HBR实现文件存储NAS备份
当您使用云上NAS存储共享ECS,容器,K8s等计算设备的数据时,数据可能因病毒勒索,误删除而丢失。本场景主要介绍如何使用HBR为云上文件存储NAS进行备份,进而保证数据安全。
目录
相关文章
|
5月前
|
存储 关系型数据库 MySQL
MySQL——数据库备份上传到阿里云OSS存储
MySQL——数据库备份上传到阿里云OSS存储
208 0
|
6月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之同步数据到OSS时,文件的切分单位如何设置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
100 1
|
4月前
|
存储 API Swift
Ceph Reef(18.2.X)之Swift操作对象存储网关
这篇文章详细介绍了Ceph Reef(18.2.X)中通过Swift API操作对象存储网关的方法,包括创建用户、子用户、配置环境变量、以及使用swift命令行工具进行存储桶和对象的管理。
46 7
Ceph Reef(18.2.X)之Swift操作对象存储网关
|
4月前
|
存储 对象存储
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建
这篇文章是关于Ceph Reef(18.2.X)版本中对象存储系统的配置和使用案例,包括对象存储网关的概述、核心资源介绍、Ceph RGW支持的接口、高可用radosgw的部署、s3cmd工具的使用以及如何通过HTTP方式访问对象存储。
146 3
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建
|
4月前
|
存储 对象存储
radosgw高可用对象存储网关实战指南
关于radosgw高可用对象存储网关的实战指南,涵盖了从基本概念到具体操作案例,再到架构设计和使用技巧的全面介绍。
79 6
|
4月前
|
对象存储 Python
Ceph Reef(18.2.X)之python操作对象存储网关
这篇文章介绍了如何在Ceph Reef(18.2.X)环境中使用Python操作对象存储网关(rgw),包括环境搭建、账号创建、使用s3cmd工具以及编写和测试Python代码。
56 3
|
5月前
|
存储 安全 大数据
对象存储的意义:探索数据新纪元的关键基石
在信息爆炸时代,数据成为核心资产,而高效安全的数据存储至关重要。对象存储作为一种新兴技术,起源于20世纪90年代,旨在解决传统文件系统的局限性。随着云计算和大数据技术的发展,它已成为关键技术之一。对象存储具备高可扩展性、高可靠性、低成本、易于管理和多协议支持等优点。它支撑大数据发展、推动云计算繁荣、助力企业数字化转型并保障数据安全。未来,对象存储将进一步提升性能,实现智能化管理,并与边缘计算融合,获得政策支持,成为数据新时代的关键基石。
204 3
|
6月前
|
DataWorks 安全 定位技术
DataWorks产品使用合集之如何同步OSS中的Parquet数据,并解析里面的数组成多个字段
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
6月前
|
物联网
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测

相关产品