跨账号跨地域迁移海量小文件

简介: 分享一个阿里云上跨账号跨地域迁移海量小文件的技巧。

海量小文件的数据迁移一直以来都是一个令人头痛的问题。这不,前两天我的一个同事就遇到了这样的一个问题。我们集团负责做高教业务的部门在阿里云华北1地域有一台使用了很长时间的服务器,上面有海量的小文件。集团要做账号整合,这台服务器不准备继续续费使用,要把里面的数据迁移到一个新的阿里云账号下,而且新服务器的地域是华北3。

要解决的问题就是要跨账号、跨地域、迁移海量的小文件。

我们知道在网络可达的情况下,可以组合nc和tar命令来应对大量小文件的迁移。但现在的问题是不仅跨账号还跨了地域,所以没有高速的内网可以使用,通过公网传输的话带宽又不够,只能临时升级两头服务器的带宽。当然还可以使用阿里云的云企业网打通两个账号的内网,但跨地域的云企业网需要购买带宽包,反正通过网络进行数据迁移就是没有办法做到又快又便宜。

其实还有一种几乎免费的办法,而且针对海量的小文件特别有效。

第一步、我们先确认一下要迁移的源服务器的情况:
1

这个服务器有一个系统盘,一个数据盘,数据盘上有大约100多万个文件。

第二步、用源服务器制作一个镜像,因为源服务器包含数据盘,因此要制作的是包含所有磁盘的镜像,不能只针对系统盘制作镜像。
2

第三步、将镜像复制到目标地域,我这里测试环境的源地域是华北3,目标地域是华北2。
3

第四步、将镜像管理控制台切换到目标地域,等镜像复制完毕。
4

第五步、点击共享镜像,输入目标账号的UID,共享镜像给新的账号。
5

第六步、进入目标账号的镜像管理,就可以看到目标地域下共享过来的镜像。点击创建实例就可以得到一个同源服务器一模一样的服务器。
因为镜像包含数据盘,因此在创建新实例时必须包含数据盘,但数据盘的大小可以根据需要自己灵活指定。
6

第七步、等新实例启动完毕,确认一下目标服务器的状态是否和源服务器一致。
7

一百多万个文件成功从账号A的华北3地域复制到了账号B的华北2地域。
跨地域复制镜像的流量费目前由阿里云承担,只需要账号A付少量的镜像存储费,目前按量计费每月每G是0.12元,迁移完成就可以删除镜像,迁移一次的花费通常不会超过一毛钱。

所以说这是一种几乎免费的方法。

目录
相关文章
|
6月前
|
安全 前端开发 vr&ar
安防人脸识别场景下AR 眼镜接入公安网络合规实现方案全解析
本文解析AR眼镜在公安人脸识别场景的合规接入方案:明确其仅为前端采集与结果显示终端,须通过警务通等认证设备中转,构建“眼镜→中转设备→公安专网→平台”全闭环链路,严守专网准入、数据不出网、全程加密等安全红线。
|
11月前
|
数据可视化
分类模型校准:ROC-AUC不够?用ECE/pMAD评估概率质量
本文探讨模型概率校准问题,强调仅看ROC-AUC不足,需结合ECE与pMAD。ECE衡量校准精度,pMAD反映预测区分度。二者平衡是关键,可通过ECE/pMAD比值或设定pMAD阈值筛选最优模型,确保既准确又具分辨能力。
541 3
分类模型校准:ROC-AUC不够?用ECE/pMAD评估概率质量
|
11月前
|
数据采集 人工智能 大数据
2025年数据治理工具哪家好?国内数据治理厂商推荐
围绕当前市场需求,对多款主流数据治理工具进行详细解析,为企业IT及数据管理相关部门员工提供有价值的参考,助力企业精准选择数据治理解决方案。
|
10月前
|
存储 NoSQL 关系型数据库
MongoDB 数据库与集合操作详解
本文介绍MongoDB中数据库与集合的基本操作。数据按“数据库→集合→文档”层级组织。通过`use`创建或切换数据库,`show dbs`查看列表,`db.dropDatabase()`删除数据库。集合无需显式创建,插入文档时自动生,也可用`createCollection`手动创建。使用`show collections`查看集合,`drop()`删除集合。注意命名规范及保留名如admin、local等。
|
Android开发 开发者
Android动态搜索的简单实现
本文介绍了在Android中实现动态搜索功能的方法,重点讲解了通过`SearchView`与`ListView`结合的方式。文章首先简要提及了`addTextChangedListener`的使用场景,随后详细说明了`SearchView`的相关方法,如`setIconified()`、`setOnQueryTextListener()`等,并通过一个示例展示了如何根据用户输入动态过滤`ListView`中的数据。案例中使用了一个字符串数组作为数据源,通过监听输入变化实现搜索功能。最后提供了完整的源码和布局文件,便于开发者参考和实践。
363 3
|
前端开发 JavaScript Android开发
Flutter 与 React Native - 详细深入对比分析(2024 年)
Flutter和React Native是两大跨平台框架,各有优缺点。Flutter性能优越,UI灵活,使用Dart;React Native生态广泛,适合JavaScript开发。
4469 6
Flutter 与 React Native - 详细深入对比分析(2024 年)
|
安全 数据库 网络架构
局域网与广域网:连接世界的两张网
【10月更文挑战第10天】
4047 0
|
网络架构
连接差异:探索RJ45与RJ11的世界
【4月更文挑战第21天】
1298 0
连接差异:探索RJ45与RJ11的世界
|
机器学习/深度学习 人工智能 算法
从零构建现代深度学习框架(TinyDL-0.01)
本文主要以一个Java工程师视角,阐述如何从零(无任何二三方依赖)构建一个极简(麻雀虽小五脏俱全)现代深度学习框架(类比AI的操作系统)。
|
运维 监控 安全
数字化安全生产平台DPS重磅发布-助力传统运维向SRE转型
11 月 5 日,在 2022 杭州·云栖大会上,数字化安全生产平台 DPS 重磅发布,助力传统运维向 SRE 转型。演讲人:阿里云智能资深技术专家,高可用架构负责人周洋(中亭)
9113 6
数字化安全生产平台DPS重磅发布-助力传统运维向SRE转型

热门文章

最新文章