迁移计划概述:
第一阶段:前期沟通&准备
1、
请先熟悉Dataworks的相关操作,比如节点的新增、执行、调度运维等相关操作;
2、
本次迁移只把用户在采云间里面的任务迁移到DataWorks里面,需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用;如果用户在采云间有多个odps项目,且用这在odps项目上运行的节点存在依赖关系,需要确保这些odps项目是在一个租户空间中
3、
第二个DataWorks项目里面已经存在节点,需要把所有的节点备份一次(这个操作我们会帮忙处理);
4、
确定具体的操作时间,这个操作时间内用户不能有任何的增、删、改动作,操作完成之后的所有增、删、改需要自己去DataWorks同步,不会再有增量的迁移;
第二阶段:迁移方案
迁移时间计划:
【迁移前确定迁移时间】采云间迁移,迁移完成后会把根节点设置成暂停
【迁移完后提供一个星期的时间让用户验证】用户确认迁移效果,验证数据(建议用户在Base上通过补数据比对几天之前的数据来确认是否一致,然后随机采样的方式来验证)
效果确认完成之后通知到我们,我们这边会把所有采云间上的根节点暂停(迁移完成后预留1个月之后下线、删除)
DataWorks上面根节点需要用户设置成启动调度,提交到调度;
迁移内容:
IDE迁移
–
资源、函数会迁移到IDE中
–
采云间IDE中的file迁移至DataWorks的IDE脚本文件
–
已发布节点迁移至DataWorks的工作流节点
–
不划分工作流Flow,按照节点关系一对一迁移,会根据设置的project把节点迁移到对应的project中;
调度迁移
- 任务类型:Virtual、ODPS SQL、CDP同步
数据源迁移
- 根据同步任务设置的链接方式生成数据源
验证注意事项:
–
鉴于同步任务比较多,数据导入和回流任务的验证要注意不能影响生产库。
–
生产验证时间为一周,拖的越久影响越大,最好在一周内完成系统割接。
第三阶段:验证
迁移后的验证分为2步:
•
迁移团队进行迁移后的告知客户;
•
客户介入验收工作,验收周期1周,请客户务必在1周内内完成验收工作(否则新增数据可能会导致问题);
采云间支持群钉钉群(钉钉群号11766922)