前言
当使用了像 OSS、S3 这样的开放对象储存的 PaaS 产品后，一面上体验到了网站核心同附件库分离的安全性、高性能以及免维护的便利性，一面上却又怕在一个厂家的对象储存上扎根了就无法迁移，会被厂家绑架。
如果你的网站大量应用了其他厂家的云服务像 云服务器、云数据库、对象存储要迁移到阿里云的上的话，像云服务器可以通过压缩、解压或者rysnc等同步方式传输，云数据库可以通过 DTS 迁移，那么对象储存，就可以使用阿里云的 OSSImport 工具。
介绍
OssImport 工具可以将本地、其它云存储的数据迁移到OSS，它有以下特点：
- 支持的丰富的数据源，有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等，并可根据需要扩展；
- 支持断点续传；
- 支持流量控制；
- 支持迁移指定时间后的文件、特定前缀的文件；
- 支持并行数据下载、上传；
- 支持单机模式和分布式模式，单机模式部署简单使用方便，分布式模式适合大规模数据迁移。
阿里集团内部像淘宝、优酷都已经完成了向阿里云的迁移工作，而存储数据的传输就是应用的 OssImport，所以 OssImport 是经历过大量数据迁移考验的，是一款非常成熟的迁移工具。
要求 & 收获
需要使用到的产品：
通过本文你将讲学到：
- 安装 Java 环境
- 使用 OSSImport 迁移对象存储文件
教程
安装 Java
OSSImport 的运行需要 Java 1.7 以上版本，所以我们需要在服务器中安装 Java 运行环境。
这里以 Ubuntu 16.04 LTS 为例。 OSSImport 的单机模式支持 Windows 和 Linux 发行版，所以只要安装好了 Java 环境都可以使用 OSSImport。
一、安装依赖
apt-get install python-software-properties software-properties-common二、添加PPA源，由 webupd8team 团队制作的快速命令行安装 Java 的工具
add-apt-repository ppa:webupd8team/java三、刷新软件源缓存并安装
apt-get update
apt-get install oracle-java9-installer四、查看安装后版本
java version例如：
root@MF8.biz:~/ossimport# java version
Error: Could not find or load main class version
Caused by: java.lang.ClassNotFoundException: version
root@iZuf60ssdog3u50holkx23Z:~/ossimport# java -version
java version "9.0.4"
Java(TM) SE Runtime Environment (build 9.0.4+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.4+11, mixed mode)下载 OSSImport
上图是迁移架构的图解，OssImport 有 单机模式 和 分布式模式 两种部署方式。对于小于 30TB 的小规模数据迁移，单机模式即可完成。对于大规模的数据迁移，请使用分布式模式。
这里介绍的是 单机模式 的部署，毕竟我暂时也接触不到大于 30TB 的数据迁移嘛。
一、下载 OSSImport
wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip二、修改配置文件
配置文件有 conf/sys.properties 和 conf/local_job.cfg ，前者主要是运行环境的参数，如果数据迁移量特别大建议把内存改大点。 后者是我们迁移的重点。
不同对象储存产品迁移的配置文件模板可以在下面选择：
| 迁移类型 | 配置文件 | 说明 | |
|---|---|---|---|
| 从本地迁移到OSS | job.cfg | srcPrefix 是以 / 结尾的绝对路径，如 D:/work/oss/data/, /home/user/work/oss/data/ |
|
| 从七牛云存储迁移到OSS | job.cfg | srcPrefix 和 destPrefix 可以配置为空；如果不为空，请以 / 结尾，如 destPrefix=docs/ |
|
| 从百度bos迁移到OSS | job.cfg | srcPrefix 和 destPrefix 可以配置为空；如果不为空，请以 / 结尾，如 destPrefix=docs/ |
|
| 从AWS S3迁移到OSS | job.cfg | S3的 域名列表 | |
| 从又拍云存储迁移到OSS | job.cfg | srcAccessKey/srcSecretKey填操作员账号及密码 | |
| 从腾讯cos迁移到OSS | job.cfg | srcDomain请按照V4版本填写，如srcDomain=sh ; srcPrefix可以为空，当不为空时候，请以 / 开头和结尾，如 srcPrefix=/docs/ |
|
| 从Azure blob迁移到OSS | job.cfg | srcAccessKey/srcSecretKey填存储存储账号及密钥；srcDomain填连接字符串中的 EndpointSuffix，如 core.chinacloudapi.cn |
|
| 从OSS迁移到OSS | job.cfg | 适用于不同区域之间、不同存储类型之间、不同前缀之间的数据迁移；推荐在ECS上部署，并使用带internal的域名，可以节省流量费用 | |
| 使用高速通道迁移数据到OSS | job.cfg | 适用于所有数据源，如果您有高速迁移需求，请提交工单或联系OSS支持人员 | 1 |
配置 OSSImport
这里以腾讯云的 COS 的迁移为例来介绍，如何配置。
一、复制模板文件内容，将上面下载的 job.cfg 文件内容复制替换 conf/local_job.cfg 的内容，或者干脆删掉重命名也没问题。
二、是否开启增量传输（可选），如果像论坛、门户这样多用户的网站想不关站迁移以做到用户无感知的话，就需要进行增量传输，也就是传输一遍以后扫描列表看看有没有新增的文件再进行传输。把第 2 行的 isIncremental=false 改为 isIncremental=true，像博客、CMS这种单管理员用户的默认的话不用增量就行。
三、腾讯云的源access key，在 COS 的控制台左侧列表中就有 密钥管理 
点击前往 API密钥管理 查看，如果没有就新建一个：
然后修改对应在第 20 和 23 行的内容，改为自己对应的 srcAccessKey 和 srcSecretKey
#源access key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的acceess key/accss key id,又拍云填写操作员账号
srcAccessKey=AKID******6ZEBKUn6D3mSJFMZ******GA1g
#源secrect key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的secret key/access key secret,又拍云填写操作员密码
srcSecretKey=dQ8g******bWn6jInD7vYz******341m四、修改所在地域 第 34 行的的内容，其实配置文件中默认有介绍：
#7.腾讯云: cos v3版本不需要填写;cos v4版本需要填上bucket所在的区域，比如华南园区填写:gz,华北园区:tj,华东园区:sh
srcDomain=sh
例如我的 Bucket 是在 华东 的，那就是 sh 不变了。
五、srcBucket 也就是要迁移的 Bucket 的名称，例如我这个是 qcloud-demo 那就填 qcloud-demo
六、修改源前缀 是不是要迁移 Bucket 下的某个目录了，一般来说还是留空的好，第40行的内容：
#源前缀，默认为空，如果srcType=local，则此目录是本地目录，如果是其他类型，则是源Bucket里需要同步的Object的前缀,注意如果是本地目录，需要完整目录路径(以'/'进行分割并且以'/'结尾,例: c:/example/)
srcPrefix=像我这样，等号后面啥都不要，留空即可。
七、阿里云的Accesskey 第 44 和 47 行，也就是，建议使用 RAM 实现，可以参考 《使用 AliCloud Duplicity 将服务器文件备份至 OSS》 中设置 RAM 的教程
#目的 access key
destAccessKey=Jwd1******nMnZBs
#目的 secret key
destSecretKey=ir8Qt*****jwh5b0eF******xM5QE八、修改目的endpoint 注意是只要 EndPoint 就行而不是 访问域名，这时候 ECS 的优越性就来了，上传的时候走内网带宽不计流量而且带宽够大。
destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com九、目的bucket 这个不用多说，就是 OSS 的 Bucket 名称了。
十、destPrefix 和上面第六步的前缀名称对应，如果是空的那么这一步也留空，如果是有目录的那也留目录。
十一、腾讯云 APPID，第 63 行的 APPID 在 https://console.cloud.tencent.com/developer 可以看到
十二、数据校验（可选） ，最后一行，对数据进行校验，防止数据传输发生错误。个人建议用第三种 MD5 校验的方式更可靠一点，不过时间也更长，修改为：
auditMode=detailed使用 OSSImport
修改好上述文件以后进行保存，然后在解压后的文件夹中运行：
bash import.sh如果是 Windows Server 就在 cmd.exe 中执行：
console.bat start注：
Job运行信息，可以查看log/ossimport2.log；
Task的失败原因，可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log；
Task的失败文件，可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/error.list
如果运行出错可以参考：https://help.aliyun.com/knowledge_detail/57110.html 针对反馈结果进行拍错。
可以看到我的文件都已经成功的完成了迁移：
