OSS在线迁移服务剖析

简介: 在前迁移说明 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移; 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单; 在线迁移分类 离线迁移:这里.

在前迁移说明

  • 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移;
  • 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单;

在线迁移分类

离线迁移:这里是指的闪电立方硬盘数据 copy 的方式迁移到 OSS;适合用在专有云,以及海量 PB 级别数据想要快速迁移的需求;

image

image

在线迁移:包含了第三方存储迁移到 OSS 以及 ECS 数据迁移到 OSS

1、创建数据地址,类似 ossimport job.cfg 的操作,配置迁移的数据源,以及目标 OSS bucket 相关配置;

  • 迁移数据用的 accesskeyID 要具有对应的权限,授予子账号存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)
  • 数据地址要创建两个,一个源数据地址,一个目标数据地址;

image

image

2、创建迁移任务

image

image

3、任务类型说明

  • 全量迁移:上传所有的源文件到 OSS;
  • 增量迁移:上传前先 list 所有的源文件,比对哪些是已经上传过的,将不再重复上传;
  • 数据同步:这里注意下,当部署的是 OSS 之间迁移的任务时,可以在同区域进行数据同步操作,定期的同步源 bucket 数据到目标 bucket;
  • 同时还可以针对指定文件的时间进行数据迁移;

image

4、调优设置

用户配置好迁移体量和文件大致数量后,可以根据设置自动计算分配的工作线程数,同时用户也可以灵活的按时间段限流,或者不限流;

image

5、注意

在创建迁移任务后,OSS 会去源拉个别文件进行测试,如果恰好源文件含有非法命名的 object 就会导致整个任务失败,
非法字符包含 "/ .. " 以及长度不能超过 1024字节;

image

在线迁移管理

已经创建好的迁移任务,用户可以对其进行管理和监控;

  • 进入到管理界面后我们可以看到迁移任务的整体监控(流量,任务状态,迁移进展)

image

  • 任务迁移过程中如果出现失败,用户可以进行重试;

image

  • 任务迁移完成后,用户生成迁移报告,包含来整体的迁移实际数量,是否有报错,以及报错原因等信息;报告是保存在 OSS 上的;

image

目录
相关文章
|
8月前
|
BI 双11
零代码取数、百万级数据实时导出!让业务决策快人一步
企业常陷“数据困局”:业务急需数据,却苦等排期、审批、开发。 Quick BI自助取数功能让非技术人员三分钟上手——拖拉拽选维度指标,实时生成报表;百万级数据一键带格式下载(Excel/CSV),不乱码、不变形。真正实现“想查就查、即查即得”,释放数据生产力!
|
8月前
|
存储 缓存 安全
2026年阿里云服务器最新活动价格,热门实例规格配置、带宽、云盘收费标准与活动价格
2026年阿里云服务器价格优惠,提供轻量云服务器2核2G一年38元、e实例云服务器2核2G一年99元等多款特价实例,覆盖经济型e、通用算力型u1、u2a、计算型c9i等热门规格,满足不同场景需求。其中,经济型e实例以高性价比、企业级服务质量和安全保障脱颖而出;u1实例提供高性能与灵活配置,适合通用上云;u2a实例则基于AMD CPU平台,专为对成本敏感且追求均衡性能的用户设计。
757 0
2026年阿里云服务器最新活动价格,热门实例规格配置、带宽、云盘收费标准与活动价格
|
9月前
|
数据库
什么是 Code 39?
Code 39是1974年由Intermec开发的字母数字条形码,支持43个字符,广泛用于汽车、医疗、国防等领域。分Regular和Full ASCII两种,后者可编码全部128个ASCII字符。结构简单,自校验强,但密度较低。可通过HCreateLabelView轻松生成,适用于非零售场景。
1119 2
|
9月前
|
算法 搜索推荐
经典的 TF-IDF 算法是什么?
TF-IDF是衡量词与文档相关性的经典算法,由词频(TF)和逆文档频率(IDF)相乘得出。TF反映词在文档中的重要性,IDF体现词的区分度。词频越高、文档频率越低的词,权重越大。通过累加各词项的TF-IDF值,可计算查询与文档的整体相关性,广泛应用于搜索引擎排序。
|
Java
【源码】【Java并发】【ConcurrentHashMap】适合中学体质的ConcurrentHashMap
本文深入解析了ConcurrentHashMap的实现原理,涵盖JDK 7与JDK 8的区别、静态代码块、构造方法、put/get/remove核心方法等。JDK 8通过Node数组+链表/红黑树结构优化并发性能,采用CAS和synchronized实现高效锁机制。文章还详细讲解了hash计算、表初始化、扩容协助及计数更新等关键环节,帮助读者全面掌握ConcurrentHashMap的工作机制。
420 6
【源码】【Java并发】【ConcurrentHashMap】适合中学体质的ConcurrentHashMap
|
人工智能 监控 数据可视化
Quick BI × ZOLOZ:数据智能强化跨境交易风险实时管控
随着跨境交易日益频繁,风险管理成为企业国际化的主要挑战。阿里云瓴羊Quick BI联合蚂蚁数科旗下ZOLOZ,推出AI×BI风控分析解决方案,助力全球跨境交易实时管控。通过自由灵活的可视化分析、多Region合规部署及国际化操作体验,Quick BI帮助ZOLOZ实现数据分析标准化,大幅提升决策效率,降低80%成本,服务覆盖25个国家和地区超12亿用户。
441 0
|
人工智能 搜索推荐 数据挖掘
销售易CRM:用户体验与实际应用深度分析
销售易CRM是国内领先的客户关系管理系统,以其现代化的界面设计、强大的移动端支持和优质的客户服务著称。系统操作简洁直观,支持个性化定制和多设备访问,确保随时随地办公。移动端功能齐全,提供实时协同工具和离线支持,极大提高工作效率。销售易CRM还注重客户服务,提供快速响应、专业培训和持续优化。实际应用案例显示,该系统帮助中大型企业和成长型企业实现销售流程数字化管理,提升销售效率和客户满意度,是企业数字化转型的理想选择。
|
人工智能 自然语言处理 语音技术
Ai好记全面接入DeepSeek大模型!重塑知识管理新体验
Ai好记融合DeepSeek大模型,带来知识管理新纪元。视频秒变知识胶囊,外语资料自动转母语,一键构建思维导图。六大核心能力包括结构化笔记、AI播客、全平台解析等,全面提升学习和工作效率。立即登录aihaoji.com体验!
|
Java Linux Android开发
深入探索Android系统架构:从Linux内核到应用层
本文将带领读者深入了解Android操作系统的复杂架构,从其基于Linux的内核到丰富多彩的应用层。我们将探讨Android的各个关键组件,包括硬件抽象层(HAL)、运行时环境、以及核心库等,揭示它们如何协同工作以支持广泛的设备和应用。通过本文,您将对Android系统的工作原理有一个全面的认识,理解其如何平衡开放性与安全性,以及如何在多样化的设备上提供一致的用户体验。
|
存储 算法 搜索推荐
数据结构--堆的深度解析
数据结构--堆的深度解析

热门文章

最新文章