开发者社区> 妙正灰> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

【云计算的1024种玩法】轻松将其他云的对象储存迁移至阿里云OSS

简介: 当使用了像 OSS、S3 这样的开放对象储存的 PaaS 产品后,一面上体验到了网站核心同附件库分离的安全性、高性能以及免维护的便利性,一面上却又怕在一个厂家的对象储存上扎根了就无法迁移,会被厂家绑架。
+关注继续查看

前言

当使用了像 OSS、S3 这样的开放对象储存的 PaaS 产品后,一面上体验到了网站核心同附件库分离的安全性、高性能以及免维护的便利性,一面上却又怕在一个厂家的对象储存上扎根了就无法迁移,会被厂家绑架。

如果你的网站大量应用了其他厂家的云服务像 云服务器、云数据库、对象存储要迁移到阿里云的上的话,像云服务器可以通过压缩、解压或者rysnc等同步方式传输,云数据库可以通过 DTS 迁移,那么对象储存,就可以使用阿里云的 OSSImport 工具。

介绍

OssImport 工具可以将本地、其它云存储的数据迁移到OSS,它有以下特点:

  • 支持的丰富的数据源,有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展;
  • 支持断点续传;
  • 支持流量控制;
  • 支持迁移指定时间后的文件、特定前缀的文件;
  • 支持并行数据下载、上传;
  • 支持单机模式和分布式模式,单机模式部署简单使用方便,分布式模式适合大规模数据迁移。

阿里集团内部像淘宝、优酷都已经完成了向阿里云的迁移工作,而存储数据的传输就是应用的 OssImport,所以 OssImport 是经历过大量数据迁移考验的,是一款非常成熟的迁移工具。

要求 & 收获

需要使用到的产品:

  1. 任意(包括非阿里云)服务器/ECS (阿里云服务器可以不计推送到 OSS 的流量)
  2. 阿里云 OSS
  3. 其他非阿里云的对象储存产品

通过本文你将讲学到:

  1. 安装 Java 环境
  2. 使用 OSSImport 迁移对象存储文件

教程

安装 Java

OSSImport 的运行需要 Java 1.7 以上版本,所以我们需要在服务器中安装 Java 运行环境。

这里以 Ubuntu 16.04 LTS 为例。 OSSImport 的单机模式支持 Windows 和 Linux 发行版,所以只要安装好了 Java 环境都可以使用 OSSImport。

一、安装依赖

apt-get install python-software-properties software-properties-common

二、添加PPA源,由 webupd8team 团队制作的快速命令行安装 Java 的工具

add-apt-repository ppa:webupd8team/java

三、刷新软件源缓存并安装

apt-get update
apt-get install oracle-java9-installer

四、查看安装后版本

java version

例如:

root@MF8.biz:~/ossimport# java version
Error: Could not find or load main class version
Caused by: java.lang.ClassNotFoundException: version
root@iZuf60ssdog3u50holkx23Z:~/ossimport# java -version
java version "9.0.4"
Java(TM) SE Runtime Environment (build 9.0.4+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.4+11, mixed mode)

下载 OSSImport

image

上图是迁移架构的图解,OssImport 有 单机模式 和 分布式模式 两种部署方式。对于小于 30TB 的小规模数据迁移,单机模式即可完成。对于大规模的数据迁移,请使用分布式模式。

这里介绍的是 单机模式 的部署,毕竟我暂时也接触不到大于 30TB 的数据迁移嘛。

一、下载 OSSImport

wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip

二、修改配置文件

配置文件有 conf/sys.propertiesconf/local_job.cfg ,前者主要是运行环境的参数,如果数据迁移量特别大建议把内存改大点。 后者是我们迁移的重点。

不同对象储存产品迁移的配置文件模板可以在下面选择:

迁移类型 配置文件 说明
从本地迁移到OSS job.cfg srcPrefix 是以 / 结尾的绝对路径,如 D:/work/oss/data/, /home/user/work/oss/data/
从七牛云存储迁移到OSS job.cfg srcPrefix 和 destPrefix 可以配置为空;如果不为空,请以 / 结尾,如 destPrefix=docs/
从百度bos迁移到OSS job.cfg srcPrefix 和 destPrefix 可以配置为空;如果不为空,请以 / 结尾,如 destPrefix=docs/
从AWS S3迁移到OSS job.cfg S3的 域名列表
从又拍云存储迁移到OSS job.cfg srcAccessKey/srcSecretKey填操作员账号及密码
从腾讯cos迁移到OSS job.cfg srcDomain请按照V4版本填写,如srcDomain=sh ; srcPrefix可以为空,当不为空时候,请以 / 开头和结尾,如 srcPrefix=/docs/
从Azure blob迁移到OSS job.cfg srcAccessKey/srcSecretKey填存储存储账号及密钥;srcDomain填连接字符串中的 EndpointSuffix,如 core.chinacloudapi.cn
从OSS迁移到OSS job.cfg 适用于不同区域之间、不同存储类型之间、不同前缀之间的数据迁移;推荐在ECS上部署,并使用带internal的域名,可以节省流量费用
使用高速通道迁移数据到OSS job.cfg 适用于所有数据源,如果您有高速迁移需求,请提交工单或联系OSS支持人员 1

配置 OSSImport

这里以腾讯云的 COS 的迁移为例来介绍,如何配置。

一、复制模板文件内容,将上面下载的 job.cfg 文件内容复制替换 conf/local_job.cfg 的内容,或者干脆删掉重命名也没问题。

二、是否开启增量传输(可选),如果像论坛、门户这样多用户的网站想不关站迁移以做到用户无感知的话,就需要进行增量传输,也就是传输一遍以后扫描列表看看有没有新增的文件再进行传输。把第 2 行的 isIncremental=false 改为 isIncremental=true,像博客、CMS这种单管理员用户的默认的话不用增量就行。

三、腾讯云的源access key,在 COS 的控制台左侧列表中就有 密钥管理
image

点击前往 API密钥管理 查看,如果没有就新建一个:

image

然后修改对应在第 2023 行的内容,改为自己对应的 srcAccessKeysrcSecretKey


#源access key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的acceess key/accss key id,又拍云填写操作员账号

srcAccessKey=AKID******6ZEBKUn6D3mSJFMZ******GA1g



#源secrect key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的secret key/access key secret,又拍云填写操作员密码

srcSecretKey=dQ8g******bWn6jInD7vYz******341m

四、修改所在地域34 行的的内容,其实配置文件中默认有介绍:

#7.腾讯云: cos v3版本不需要填写;cos v4版本需要填上bucket所在的区域,比如华南园区填写:gz,华北园区:tj,华东园区:sh

srcDomain=sh

image

例如我的 Bucket 是在 华东 的,那就是 sh 不变了。

五、srcBucket 也就是要迁移的 Bucket 的名称,例如我这个是 qcloud-demo 那就填 qcloud-demo

六、修改源前缀 是不是要迁移 Bucket 下的某个目录了,一般来说还是留空的好,第40行的内容:

#源前缀,默认为空,如果srcType=local,则此目录是本地目录,如果是其他类型,则是源Bucket里需要同步的Object的前缀,注意如果是本地目录,需要完整目录路径(以'/'进行分割并且以'/'结尾,例: c:/example/)
srcPrefix=

像我这样,等号后面啥都不要,留空即可。

七、阿里云的Accesskey4447 行,也就是,建议使用 RAM 实现,可以参考 《使用 AliCloud Duplicity 将服务器文件备份至 OSS》 中设置 RAM 的教程

#目的 access key

destAccessKey=Jwd1******nMnZBs



#目的 secret key

destSecretKey=ir8Qt*****jwh5b0eF******xM5QE

八、修改目的endpoint 注意是只要 EndPoint 就行而不是 访问域名,这时候 ECS 的优越性就来了,上传的时候走内网带宽不计流量而且带宽够大。
image

destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com

九、目的bucket 这个不用多说,就是 OSS 的 Bucket 名称了。

十、destPrefix 和上面第六步的前缀名称对应,如果是空的那么这一步也留空,如果是有目录的那也留目录。

十一、腾讯云 APPID,第 63 行的 APPID 在 https://console.cloud.tencent.com/developer 可以看到

image

十二、数据校验(可选) ,最后一行,对数据进行校验,防止数据传输发生错误。个人建议用第三种 MD5 校验的方式更可靠一点,不过时间也更长,修改为:

auditMode=detailed

使用 OSSImport

修改好上述文件以后进行保存,然后在解压后的文件夹中运行:

bash import.sh

如果是 Windows Server 就在 cmd.exe 中执行:

console.bat start

注:

Job运行信息,可以查看log/ossimport2.log;
Task的失败原因,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log;
Task的失败文件,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/error.list

如果运行出错可以参考:https://help.aliyun.com/knowledge_detail/57110.html 针对反馈结果进行拍错。

可以看到我的文件都已经成功的完成了迁移:
image

image

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SpringCloud微服务实战——搭建企业级开发框架(二十九):集成对象存储服务MinIO+七牛云+阿里云+腾讯云
微服务应用中图片、文件等存储区别于单体应用,单体应用可以放到本地读写磁盘文件,微服务应用必需用到分布式存储,将图片、文件等存储到服务稳定的分布式存储服务器。目前,很多云服务商提供了存储的云服务,比如阿里云OSS、腾讯云COS、七牛云对象存储Kodo、百度云对象存储BOS等等、还有开源对象存储服务器,比如FastDFS、MinIO等。
295 0
一个集成阿里云、腾讯云、七牛云对象存储的SDK
概述 超级快速使用阿里云OSS或腾讯COS及七牛云Koa获取、放置、删除对象 Supper quick use Aliyun OSS or Tencent COS or Qiniu Koa to get、put、delete Object.
136 0
专访阿里云罗庆超:对象存储的过去、现在、未来
发展到现在,数据湖越来越受企业重视,美国知名科技企业风投机构 A16Z 经过调查发现数据湖已成为现代化数据分析架构中的中流砥柱,处于数据分析架构的核心位置。HDFS 和对象存储都是可以用来构建数据湖的组件,但对象存储更能适应当前存算分离的发展趋势,所以越来越多的企业转向了对象存储,阿里的数据湖在 2019 年也从 Hadoop 生态转向了对象存储 OSS。
90 0
利用rsync和云存储网关备份文件到阿里云对象存储
本文通过具体的实践展示了利用rsync和云存储网关将本地目录备份到阿里云对象存储的方案。
924 0
提升 10 倍!阿里云对象存储 OSS 可用性 SLA 技术揭秘
对象存储被广泛应用于互联网应用中,当我们打开手机观看视频、收听音乐、分享图片、浏览网页、淘宝购物时,背后的数据基本都是存在对象存储中。应用使用卡、打不开就和对象存储的可用性 SLA 有关,SLA 越高,应用体验越好。本文分享阿里云在对象存储 OSS(Open Storage Service) 的可用性 SLA (Service Level Agreement) 上的实践和技术沉淀。
1631 0
快开启阿里云对象存储 OSS 防误删新功能--版本控制,保护您珍贵的数据
阿里云对象存储 OSS 是保存海量数据的平台,支持丰富的应用。在使用过程中难免会遇到误操作、程序 Bug、覆盖写等导致数据被删除的场景,对于数据的丢失会非常着急,后果也非常严重,甚至某些情况下还会影响你的职业生涯。
1661 0
阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的技术体系
2020年6月,阿里云对象存储 OSS 通过十年积累的技术红利,将可用性 SLA(Service Level Agreement) 提升 10 倍,做到了全球第一的核心竞争力,是其他的云厂家的 10~20 倍,如下图所示。
701 0
五个问答,告诉你阿里云对象存储如何助力钉钉战胜业务洪峰
为了积极迎接此次疫情的挑战,政府组织、企业、院校等纷纷开启了线上办公,视频会议、在线教育以及基于互联网的数据分析已然成为当下最重要的刚需。在这样如此巨大的业务流量和数据增量的压力下,钉钉是如何积极应对,从而实现存储的快速扩容,保障了业务连续性。
1073 0
阿里云对象存储 OSS,不使用主账号,使用子账号来访问存储内容
https://help.aliyun.com/document_detail/31932.html?spm=5176.doc31929.2.5.R7sEzr   这个示例从一个没有任何Bucket的阿里云用户开始,以下内容中出现的AccessKey请替换成用户自己对应的AccessKey。
1327 0
+关注
妙正灰
浙江卓见云解决方案工程师,负责为企业规划上云迁移方案和云上架构设计,在网站建设开发和云计算领域有多年经验,专注于Linux平台的系统维护以及应用部署。致力于以场景化的方式让云计算,用更加通俗易懂的方式让更多人体验云计算,让云端的计算更质朴的落地。
文章
问答
文章排行榜
最热
最新
相关电子书
更多
阿里云 JindoFS+OSS 数据上云实战
立即下载
云存储之OSS实战进阶分享
立即下载
OSS运维基础实战手册
立即下载