开发者社区> 问答> 正文

我的跨机房迁移记录,给有需要的朋友做个参考

前提:
1、杭州机房迁移到深圳机房
2、磁盘数据300G多一点,平均文件大小100+KB
3、一个论坛


9月12号4点15分记录


其实迁移是从9月11号开始的,11号中午我重新购置了一台按量付费的机器,这台机器配置是双核+2G+双400G临时磁盘+250M带宽,其中一个临时磁盘是用正常机器的数据盘11号凌晨的快照创建的。


补一个小插曲,其实一周前就准备迁移,当时按阿里技术支持部门童鞋的指导进行操作,只可惜第一步用快照创建磁盘的操作就失败了,后来查出来说是系统bug,当时就开玩笑说阿里的系统跟我有仇,每次用任何功能就出bug。


说回来,用临时迁移使用的机器准备打包数据,直接tar cf,没有执行任何压缩,当然,一旦执行压缩,CPU必然吃不消。打包一段时间之后,发现怪怪的,磁盘速度不像临时磁盘该有的性能,于是技术支持的童鞋说帮忙调高了IO限制,当然,实际得到的结果却是IO反倒变低了一半,后来后台开发查了蛮久,估计又是系统故障,过了蛮久才恢复到号称调高限制之前的水平。可是这水平实在太臭。


一直不停的在打包,我预计是打4个左右的包,从中午12点多开始,期间9个多小时一直在打。到了晚上21:50,技术支持的童鞋才告诉我一个这里面巨坑的细节,有快照创建磁盘需求的同学一定要注意一下。


快照创建磁盘的时候,不管你创建的是什么类型的磁盘,其实磁盘创建完的时候数据并没有copy过来,只有当磁盘上的文件不断的被访问的时候,才会从快照里面copy到你新创建的磁盘上,其速度可想而知了,我得到的结果是5MB/S的读取速度,有时候还低到2MB/S,悲惨到无以复加。


下午的时候我购置了深圳机房的机器,正常需要的配置,双磁盘,当然其中一块磁盘是准备临时用完就释放掉的。当打完一个包的时候,我就下载这个包到深圳的机器,然后解包。深圳现在是混合存储,根据实际压满跑了N多个小时的结果,按我的这种文件情况,顺序读写能达到50MB/S的速度,比杭州机房老的集群磁盘速度好很多。


整个过程就这样交替着,杭州打包,打完包下载到深圳,接着深圳解包。期间有碰到一个坑,凌晨开始,自动快照来了,磁盘速度立马严重受影响,刚开始磁盘速度急剧下降,还丈二和尚摸不着头脑,后来无意中发现是自动快照的问题,于是将没完成的自动快照删掉,速度又恢复了。

    



4点34分记录


解包速度还算理想,只有最后一个包需要解包了

  

5点13分记录


全部解包完毕,暂停应用层访问,开始干了如下几件事
1、启用新服务器访问,将域名解析过去,指向一个提示页面
2、打包产生的增量数据
3、dump数据库

7点记录


全部迁移完成,测试结束,等着部分地区DNS生效

总结


1、如果没有那几个坑,一路都还蛮顺利,就是磁盘速度不给力,否则也不用花这么久的时间了
2、新机房的混合存储IO性能比以前老的好不少了


展开
收起
mayle 2014-09-12 04:33:19 15081 0
13 条回答
写回答
取消 提交回答
  • 谢谢分享。
    迁移数据确实是个很麻烦的问题。。
    2014-10-30 09:38:04
    赞同 展开评论 打赏
  • Re我的跨机房迁移记录,给有需要的朋友做个参考
    正考虑迁移,谢谢了

    -------------------------

    Re我的跨机房迁移记录,给有需要的朋友做个参考
    请教楼主,转移到深圳后,本地访问对比杭州机房感觉有什么改善或者问题吗?
    2014-10-30 04:20:16
    赞同 展开评论 打赏
  • 您的无私奉献精神值得我们学习!向您致敬!
    2014-09-13 11:05:40
    赞同 展开评论 打赏
  • 乐大叔是高手
    2014-09-13 10:50:23
    赞同 展开评论 打赏
  • 250M  带宽  
    2014-09-13 10:19:01
    赞同 展开评论 打赏
  • 回 5楼(大韵科技) 的帖子
    对那东西没多少好感

    -------------------------

    回 8楼(胜哥) 的帖子
    不需要
    2014-09-12 23:13:33
    赞同 展开评论 打赏
  • 问下换机房需要重新备案吗?比如从杭州转深圳?
    2014-09-12 18:23:35
    赞同 展开评论 打赏
  • “快照创建磁盘的时候,不管你创建的是什么类型的磁盘,其实磁盘创建完的时候数据并没有copy过来,只有当磁盘上的文件不断的被访问的时候,才会从快照里面copy到你新创建的磁盘上”


    感谢楼主分享,楼主,目前快照创建磁盘完毕并不是“只有当磁盘上的文件不断的被访问的时候,才会从快照里面copy到你新创建的磁盘上”,整体磁盘数据会进行同步,在同步的过程中,如果您有数据访问行为,会将您需要访问的数据优先同步,数据同步完毕的时间视您的数据盘实际数据大小而定,如果数据量比较小,会很快同步到您创建的磁盘。请了解。
    2014-09-12 11:08:01
    赞同 展开评论 打赏
  • Re我的跨机房迁移记录,给有需要的朋友做个参考
    为什么不用rsync
    2014-09-12 10:55:36
    赞同 展开评论 打赏
  • 很有参考意义
    2014-09-12 10:53:27
    赞同 展开评论 打赏
  • 这是简介
    Re我的跨机房迁移记录,给有需要的朋友做个参考
    很厉害的样子
    2014-09-12 10:35:47
    赞同 展开评论 打赏
  • Re我的跨机房迁移记录,给有需要的朋友做个参考
    我有两个问题

    1,我对云服务实现不太清楚,所以下面这句话不能理解.
    "快照创建磁盘的时候,不管你创建的是什么类型的磁盘,其实磁盘创建完的时候数据并没有copy过来,只有当磁盘上的文件不断的被访问的时候,才会从快照里面copy到你新创建的磁盘上"

    这是说快照创建完后数据并没有立即全部copy过来么?还是系统后台还没有同步增量数据?那也就是说我做完快照不能立刻用快照生成新磁盘?!!!


    2.打包产生的增量数据
    能说下增量数据迁移细节么,对这个比较感兴趣

    -------------------------

    Re我的跨机房迁移记录,给有需要的朋友做个参考
    可能文件比较多,rsync跑起来会很慢
    2014-09-12 10:30:56
    赞同 展开评论 打赏
  • 爱好建站
    2014-09-12 09:30:21
    赞同 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
高可用数据库的搭建与备份恢复策略验证实战 立即下载
高德经典数据库实践案例分享 立即下载
重新出发:阿里云数据库开源整体策略 立即下载