OSS 解决方案篇-OSS 数据迁移

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储OSS,敏感数据保护2.0 200GB 1年
对象存储 OSS,内容安全 1000 次 1年
简介: OSS 迁移数据有三种方式(ossutil、ossimport 、在线迁移服务)用户可以根据场景自由选择

功能描述

ossutil :是命令行迁移的工具,配置简单,可以适用在本地域名迁移到 OSS 上,支持多线程以及超时重试功能。但支持场景少可以用在本地迁移、OSS 之前迁移,而且迁移日志不太友好,分析起来比较麻烦,没有详细的任务进度;

ossimport :也是需要命令行进行配置,支持多个目录同时进行迁移,适合第三方云迁移到 OSS,本地数据迁移到 OSS、OSS 之前迁移。而且支持主备多机器同时迁移,增加迁移的带宽吞吐,可以有效的提高迁移效率。缺点是配置复杂,多个不同目录迁移时需要配置多个迁移文件;

在线迁移服务:这种方式几乎兼容了以上的所有优先,还可以限制每天迁移高峰期的流量,但缺点是客户数据如果放在本地的 IDC 机房那就无法使用了,要用 ossutil 或者 ossimport ,本文主要介绍在线迁移的方式;

在线迁移

  • 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移;
  • 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单;

在线迁移分类

离线迁移:

这里是指的闪电立方硬盘数据 copy 的方式迁移到 OSS;适合用在专有云,以及海量 PB 级别数据想要快速迁移的需求;

image.png

image.png

在线迁移:

包含了第三方存储迁移到 OSS 以及 ECS 数据迁移到 OSS,具体配置方法如下;

1、创建数据地址,类似 ossimport job.cfg 的操作,配置迁移的数据源,以及目标 OSS bucket 相关配置;

  • 迁移数据用的 accesskeyID 要具有对应的权限,授予子账号存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)
  • 数据地址要创建两个,一个源数据地址,一个目标数据地址;
    image.png

image.png

2、创建迁移任务
image.png

image.png

3、任务类型说明

  • 全量迁移:上传所有的源文件到 OSS;
  • 增量迁移:上传前先 list 所有的源文件,比对哪些是已经上传过的,将不再重复上传;
  • 数据同步:这里注意下,当部署的是 OSS 之间迁移的任务时,可以在同区域进行数据同步操作,定期的同步源 bucket 数据到目标 bucket;
    同时还可以针对指定文件的时间进行数据迁移;

image.png

4、调优设置
用户配置好迁移体量和文件大致数量后,可以根据设置自动计算分配的工作线程数,同时用户也可以灵活的按时间段限流,或者不限流;

image.png

5、使用注意
在创建迁移任务后,OSS 会去源拉个别文件进行测试,如果恰好源文件含有非法命名的 object 就会导致整个任务失败,
非法字符包含 "/ .. " 以及长度不能超过 1024字节;

image.png

在线迁移管理

已经创建好的迁移任务,用户可以对其进行管理和监控;

  • 进入到管理界面后我们可以看到迁移任务的整体监控(流量,任务状态,迁移进展)
    image.png
  • 任务迁移过程中如果出现失败,用户可以进行重试;
    image.png
  • 任务迁移完成后,用户生成迁移报告,包含来整体的迁移实际数量,是否有报错,以及报错原因等信息;报告是保存在 OSS 上的;
    image.png

FQA

1、如果要使用迁移服务,子账号需要具备 OSS 管理权限 以及 MGW 的管理权限,授权地址
服务开启方式
https://mgw.console.aliyun.com/?spm=a2c4g.11186623.2.12.5bf6614cWHZzGe#/job?_k=6w2hbo

2、跨域迁移的场景,需要提交功能单独申请,个人要提供内容合法性的生命。

3、排查失败任务原因可以在控制台迁移任务内,生成对应任务报告

4、迁移文件量大、文件多时,OSS 要对源文件进行 list 后才会启动迁移,在 list 过程中比较耗时,如果看到迁移进度 0 的情况正常,只要没有迁移失败用户不用担心;

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
目录
相关文章
|
对象存储
阿里云对象存储oss+picgo+typora实现步骤及无法上传图片解决方案
阿里云对象存储oss+picgo+typora实现步骤及无法上传图片解决方案
582 0
阿里云对象存储oss+picgo+typora实现步骤及无法上传图片解决方案
|
1月前
|
存储 监控 调度
如何在阿里云OSS之间进行数据迁移呢?
讲解如何在阿里云对象存储OSS之间进行跨账号、跨地域、以及同地域内的数据迁移,包括数据迁移之前的准备工作和实施数据迁移以及一些后续操作,使用在线迁移服务,您可以将第三方数据轻松迁移至阿里云对象存储OSS,也可以在对象存储OSS之间进行灵活的数据迁移。
|
1月前
|
存储 安全 数据处理
阿里云OSS如何支持大规模数据迁移和传输?
阿里云OSS凭借全球基础设施、无限扩展、高持久性、成本优化及安全防护等优势,成为企业大规模数据迁移与传输的首选。其支持智能分层存储、高速传输及多场景数据处理,提供端到端解决方案,助力企业高效构建全球化数据管道,实现数据价值最大化。
|
3月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
|
3月前
|
存储 运维 分布式计算
OSS迁移实战:从自建MinIO到阿里云OSS的完整数据迁移方案
本文介绍了从自建MinIO迁移至阿里云OSS的完整方案,涵盖成本优化、稳定性提升与生态集成需求。通过双写代理、增量同步、分层校验等技术,解决数据一致性、权限迁移、海量小文件处理等挑战,实现业务零中断与数据强一致性,最终达成79%的TCO降低和显著性能提升。
928 0
|
Java 开发工具 对象存储
简化配置管理:Spring Cloud Config与Netflix OSS中的动态配置解决方案
简化配置管理:Spring Cloud Config与Netflix OSS中的动态配置解决方案
182 2
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
420 9
|
存储 SQL 分布式计算
对象存储解决方案 开源对象存储平台 自建对象存储解决方案
对象存储解决方案 开源对象存储平台 自建对象存储解决方案
635 4
|
开发工具 对象存储 C++
UE4 x 阿里云OSS 配置问题和解决方案
在OSS配置到UE4时遇到一些问题,已解决,分享一些解决方案。
1543 0
|
存储 容灾 Cloud Native
利用阿里云对象存储OSS-RC实现经济实惠的云备份容灾解决方案
本文主要分享《如何利用阿里云对象存储OSS-RC实现经济实惠的云备份容灾解决方案》,帮助中小企业解决因难以负担备份容灾支出而遭受到业务中断威胁的问题。
利用阿里云对象存储OSS-RC实现经济实惠的云备份容灾解决方案