前言
目前我们的云存储方案除了自己的对象存储外,还集成了腾讯云的COS存储。现在有一个新需求,要支持云存储数据向其他云存储迁移的能力,比如支持把腾讯云COS存储的数据迁移到华为云的OBS存储。这就是本文今天要讨论的主题,关于这个需求,调研得到的一些技术方案分享给大家,希望能帮到有需要的小伙伴。
正文
既然打算把数据从腾讯云COS迁移到华为云OBS,我们必须要先了解华为云的对象存储OBS。通过查阅资料发现华为云支持三种方式,将第三方云厂商的数据迁移至OBS。
关于这三种方式,下面详细介绍一下。
第一种方式——OMS方式
OMS方式是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用HTTPS数据加密通道,确保数据的传输安全。在重复迁移过程中,只迁移有变动或新增的对象,降低成本。
这种方式非常合适大规模对象数据全量或者增量迁移的场景,数据量最好在500TB以下。另外,迁移速度也非常快,大概能够实现120MB/s~240MB/s。
具体迁移步骤如下:
- 创建OBS桶
登录OBS控制台,创建桶用于存放迁移数据。
- 创建OMS迁移任务
在OMS控制台创建迁移任务,通过配置访问密钥、桶名等参数将第三方云厂商(源端)与OBS(目的端)关联。
- 开始数据迁移
执行OMS迁移任务,开始数据迁移。数据迁移过程中,可以在OMS查看任务执行状态以及查看到最终结果。
第二种方式——CDM方式
通过CDM,用户可以将第三方云厂商的对象存储服务与华为云OBS连接,从而实现对象数据无缝迁移。这种方式适用于小容量数据的迁移或者周期性迁移场景,数据量一般在10TB以下。迁移速度比OMS方式稍微慢一些,大概能够能够实现60M/s~120MB/s。
具体迁移步骤如下:
- 创建OBS桶
通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。
- 购买CDM
购买CDM服务,即创建CDM集群并绑定EIP,用于管理连接与作业。
- 配置连接与作业
1)在CDM集群中新建连接:需要新建一个以第三方云厂商作为数据源的源连接,和一个以OBS作为数据目的地的目的连接。
2)创建CDM作业,执行从第三方云厂商迁移到OBS的任务。
- 开始数据迁移
运行CDM作业,启动数据迁移。用户可以通过作业管理界面查看作业进度。
第三种方式——OBS数据回源方式
OBS数据回源的方式适用于无缝迁移数据到OBS的场景,即业务数据存储用户自己建立的源站,需要在不中断业务的情况下迁移到OBS上。这种方式不适合我们的应用场景,因此,可以先pass。
第四种方式——自定义方式
这种方式就是自己定义迁移逻辑的实现,比如,我们可以先将腾讯云COS上的文件数据下载下来,再调用华为云的OBS对象存储的上传接口,进而实现数据的迁移。当然,这只是一种方式,我们还自己定义别的实现。因此,这也是一种方式。
结尾
好了,关于把数据从腾讯云COS迁移到华为云OBS的解决方案就介绍完了,大家可以根据自己的需要选择合适的方式。晚安,我是 liuzhen007,欢迎评论留言+一键三连。
作者简介:😄大家好,我是 Data-Mining(liuzhen007),是一位典型的音视频技术爱好者,前后就职于传统广电巨头和音视频互联网公司,具有丰富的音视频直播和点播相关经验,对 WebRTC、FFmpeg 和 Electron 有非常深入的了解,😄公众号:玩转音视频。同时也是 CSDN 博客专家、华为云享专家(共创编辑)、InfoQ 签约作者,欢迎关注我分享更多干货!😄