采云间DPC迁移方案实施计划

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 迁移计划概述: 第一阶段:前期沟通&准备 1、 请先熟悉Dataworks的相关操作,比如节点的新增、执行、调度运维等相关操作; 2、 本次迁移只把用户在采云间里面的任务迁移到DataWorks里面,需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用;如果用户
迁移计划概述:

第一阶段:前期沟通&准备
1、 请先熟悉Dataworks的相关操作,比如节点的新增、执行、调度运维等相关操作;
2、 本次迁移只把用户在采云间里面的任务迁移到DataWorks里面,需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用;如果用户在采云间有多个odps项目,且用这在odps项目上运行的节点存在依赖关系,需要确保这些odps项目是在一个租户空间中
3、 第二个DataWorks项目里面已经存在节点,需要把所有的节点备份一次(这个操作我们会帮忙处理);
4、 确定具体的操作时间,这个操作时间内用户不能有任何的增、删、改动作,操作完成之后的所有增、删、改需要自己去DataWorks同步,不会再有增量的迁移;

第二阶段:迁移方案
迁移时间计划:
【迁移前确定迁移时间】采云间迁移,迁移完成后会把根节点设置成暂停
【迁移完后提供一个星期的时间让用户验证】用户确认迁移效果,验证数据(建议用户在Base上通过补数据比对几天之前的数据来确认是否一致,然后随机采样的方式来验证)
效果确认完成之后通知到我们,我们这边会把所有采云间上的根节点暂停(迁移完成后预留1个月之后下线、删除)
DataWorks上面根节点需要用户设置成启动调度,提交到调度;
迁移内容:
IDE迁移
资源、函数会迁移到IDE中
采云间IDE中的file迁移至DataWorks的IDE脚本文件
已发布节点迁移至DataWorks的工作流节点 
不划分工作流Flow,按照节点关系一对一迁移,会根据设置的project把节点迁移到对应的project中;
调度迁移
-   任务类型:Virtual、ODPS SQL、CDP同步
数据源迁移
-  根据同步任务设置的链接方式生成数据源

验证注意事项:
鉴于同步任务比较多,数据导入和回流任务的验证要注意不能影响生产库。
生产验证时间为一周,拖的越久影响越大,最好在一周内完成系统割接。
 
第三阶段:验证
迁移后的验证分为2步:
迁移团队进行迁移后的告知客户;
客户介入验收工作,验收周期1周,请客户务必在1周内内完成验收工作(否则新增数据可能会导致问题);

采云间支持群钉钉群(钉钉群号11766922)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7月前
|
存储 云安全 安全
云端数据在哪些方面可以提高其可用性?
【6月更文挑战第23天】云端数据在哪些方面可以提高其可用性?
82 6
|
容灾 NoSQL 关系型数据库
《医保行业容灾演练云上技术白皮书》——第四章 医保云容灾演练方案——4.4 容灾演练方案——4.4.1 公共区数据层演练
《医保行业容灾演练云上技术白皮书》——第四章 医保云容灾演练方案——4.4 容灾演练方案——4.4.1 公共区数据层演练
124 0
|
容灾 应用服务中间件
《医保行业容灾演练云上技术白皮书》——第四章 医保云容灾演练方案——4.4 容灾演练方案——4.4.2 公共区应用层演练
《医保行业容灾演练云上技术白皮书》——第四章 医保云容灾演练方案——4.4 容灾演练方案——4.4.2 公共区应用层演练
|
弹性计算 负载均衡 容灾
《医保行业容灾演练云上技术白皮书》——第四章 医保云容灾演练方案——4.2 容灾演练改造——4.2.3 应用侧网络改造
《医保行业容灾演练云上技术白皮书》——第四章 医保云容灾演练方案——4.2 容灾演练改造——4.2.3 应用侧网络改造
141 0
|
人工智能 运维 Cloud Native
抛弃传统集中式架构 江西农信携手阿里云实现业务系统平滑迁移上云
抛弃传统集中式架构 江西农信携手阿里云实现业务系统平滑迁移上云
抛弃传统集中式架构 江西农信携手阿里云实现业务系统平滑迁移上云
|
弹性计算 运维 Kubernetes
边开飞机边换引擎?我们造了个新功能保障业务流量无损迁移
容器化部署应用可以降低企业成本,提升研发效率,解放运维人员。据 Gartner 预计,到 2022 年,将有 75% 的企业将在生产中运行容器化应用程序。Kubernetes 是企业部署容器化应用的首选框架。由于 Kubernetes 部署及运维的复杂性,越来越多的客户选择将业务从 ECS 或者自建的 Kubernetes 迁移到阿里云托管版 Kubernetes —— ACK 中。但是,如何保证业务流量的平滑迁移成为一大挑战。
边开飞机边换引擎?我们造了个新功能保障业务流量无损迁移
|
运维 5G SDN
三大方案推进 | 带你读《5G承载关键技术与规划设计》之五
三大电信运营商等单位通过在各个标准组织提交的 SPN、M-OTN 和 G.metro 等技术方案文稿,让世界通信行业了解到中国运营商对 5G 承载技术方案标准化的迫切需求,也让世界通信行业更加了解中国的技术实力。
三大方案推进 | 带你读《5G承载关键技术与规划设计》之五
|
存储 分布式计算 Hadoop
跨云数据搬迁利器:Juicesync
Juicesync 是 Juicedata 开源的多机分布式并行数据同步工具,支持各种对象存储(AWS S3, Azure Blob, Aliyun OSS 等)、POSIX 文件系统、HDFS 间数据互相同步,包括文件或者对象的元信息(比如权限,Owner,修改时间)同步。Juicesync 使用 Go 语言开发,不到一万行代码,核心同步逻辑只有几百行
999 0
|
存储 容灾 云计算
【知云】第六期:数据级异地容灾如何实现?阿里云帮你打通数据的“任督二脉”
国家要求网络借贷信息中介机构成立两年内,应当建立或使用与其业务规模相匹配的应用级灾备设施。那么如何规划容灾设施呢?本文中阿里云架构师半农将与大家分享阿里云异地容灾解决方案。
4202 0
Uma
|
存储 容灾 BI
灾备重于一切 别让数据成为企业之殇
在数据就是企业生命的时代,一家互联网创业公司的平台数据全部丢失,就等于收到了病危通知书。云服务商的故障直接导致公司业务停运,多年积累毁于一旦,造成的经济损失以及对品牌的负面影响不可估量。
Uma
1807 0
下一篇
开通oss服务