OSS在线迁移服务剖析

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 在前迁移说明 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移; 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单; 在线迁移分类 离线迁移:这里.

在前迁移说明

  • 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移;
  • 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单;

在线迁移分类

离线迁移:这里是指的闪电立方硬盘数据 copy 的方式迁移到 OSS;适合用在专有云,以及海量 PB 级别数据想要快速迁移的需求;

image

image

在线迁移:包含了第三方存储迁移到 OSS 以及 ECS 数据迁移到 OSS

1、创建数据地址,类似 ossimport job.cfg 的操作,配置迁移的数据源,以及目标 OSS bucket 相关配置;

  • 迁移数据用的 accesskeyID 要具有对应的权限,授予子账号存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)
  • 数据地址要创建两个,一个源数据地址,一个目标数据地址;

image

image

2、创建迁移任务

image

image

3、任务类型说明

  • 全量迁移:上传所有的源文件到 OSS;
  • 增量迁移:上传前先 list 所有的源文件,比对哪些是已经上传过的,将不再重复上传;
  • 数据同步:这里注意下,当部署的是 OSS 之间迁移的任务时,可以在同区域进行数据同步操作,定期的同步源 bucket 数据到目标 bucket;
  • 同时还可以针对指定文件的时间进行数据迁移;

image

4、调优设置

用户配置好迁移体量和文件大致数量后,可以根据设置自动计算分配的工作线程数,同时用户也可以灵活的按时间段限流,或者不限流;

image

5、注意

在创建迁移任务后,OSS 会去源拉个别文件进行测试,如果恰好源文件含有非法命名的 object 就会导致整个任务失败,
非法字符包含 "/ .. " 以及长度不能超过 1024字节;

image

在线迁移管理

已经创建好的迁移任务,用户可以对其进行管理和监控;

  • 进入到管理界面后我们可以看到迁移任务的整体监控(流量,任务状态,迁移进展)

image

  • 任务迁移过程中如果出现失败,用户可以进行重试;

image

  • 任务迁移完成后,用户生成迁移报告,包含来整体的迁移实际数量,是否有报错,以及报错原因等信息;报告是保存在 OSS 上的;

image

目录
相关文章
|
存储 弹性计算 监控
OSS 解决方案篇-OSS 数据迁移
OSS 迁移数据有三种方式(ossutil、ossimport 、在线迁移服务)用户可以根据场景自由选择
9660 0
OSS 解决方案篇-OSS 数据迁移
|
弹性计算 负载均衡 容灾
阿里云服务器地域和可用区之间是什么关系?地域和可用区的区别与选择参考
不管是选择阿里云的国内云服务器还是国外云服务器,都有多个地域及可用区选择,目前国内地域有北京、青岛、甚至等13个地域可选,国外地域有韩国、新加坡、悉尼等15个地域可选,每个地域又有多个可用区可选,那么阿里云服务器地域和可用区之间是什么关系?作为用户的我们又改如何选择呢?本文介绍阿里云地域和可用区的概念、选择指导、两者的关系以及阿里云支持的地域和可用区列表。
784 0
阿里云服务器地域和可用区之间是什么关系?地域和可用区的区别与选择参考
|
弹性计算
阿里云带宽计费模式按固定宽带和按使用流量区别对比及选择方法
阿里云服务器公网IP带宽计费方式分为按固定宽带和按使用流量,按固定宽带和按使用流量有什么区别?阿里云公网带宽计费模式如何选择?需要根据大家实际的应用场景来选择
5686 0
阿里云带宽计费模式按固定宽带和按使用流量区别对比及选择方法
|
存储 人工智能 自动驾驶
Elastic与阿里云助力汽车及出行产业数字化转型
目前,阿里云和Elastic在全国已经有很多的项目正在开展合作,而在移动出行领域与享道出行的合作案例,则是代表性的。
1280 1
Elastic与阿里云助力汽车及出行产业数字化转型
|
存储 缓存 编解码
阿里云Elasticsearch日志场景 最佳实践及引擎内核优化
分享人:郭嘉梁(梁楹),阿里巴巴技术专家
1476 1
阿里云Elasticsearch日志场景 最佳实践及引擎内核优化
|
知识图谱 开发者 运维
独家下载!《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
本书从介绍Elasticsearch、全观测技术原理、行业应用到技术实践,全面系统地解读在大数据背景下,运维人员、开发人员等应用全观测技术的价值和实践上手指南。还有借助阿里云环境进行的 ES 实战演练,详细的图文说明,手把手引导大家系统地使用 ES。
82898 0
独家下载!《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
|
人工智能 资源调度 监控
新一代智能门禁解决方案
HaaS智能门禁的解决方案由四个部分组成,端侧人脸算法服务,HaaS云UI服务,音视频通话服务,云端管理服务组成。
463 15
新一代智能门禁解决方案
|
10月前
|
SQL 弹性计算 负载均衡
10分钟将您的Web应用接入防火墙
如果您现在拥有一个Web应用,并且有安全诉求,请阅读本文。
10分钟将您的Web应用接入防火墙
|
Oracle 关系型数据库 测试技术
备份恢复16——rman介质管理问题
原文转自:http://blog.csdn.net/tianlesoftware/article/details/5678698 Oracle 10g中的RMAN 使用程序主要关注的是将磁盘备份作为介质恢复解决方案的最佳方法。
1118 0
|
人工智能 算法 大数据
阿里云发布ET工业大脑开放平台,全球首个工业智能的孵化基地
8月1日,阿里云ET工业大脑开放平台正式发布!赋能生态从感知,到知识,到智慧,阿里云匠心打造,让工业设备真正实现自感知、自诊断、自决策、自配置。为智能工业带来划时代助推力!
7493 0