数据同步方面,如果一张mysql表的结构改了(包括在末尾增加字段,在中间增加字段,删除字段,更改字段名等),大数据dataworks这边怎么处理?
这个要分几种情况,处理的方式也不同:
如果是增加字段,可以在DataWorks中对相应的同步任务进行编辑,将新的字段添加到对应的输出表中即可。
如果是在中间增加字段,或者删除字段,需要对相应的同步任务进行修改,重新映射输出表的字段,保证数据同步的正确性。
如果是更改字段名,也需要对相应的同步任务进行修改,将映射输出表的字段名改为新的字段名,确保数据同步的准确性。
如果表结构的改变较大,例如表名、主键等变化,可能需要重新建立同步任务,重新映射输出表的字段。
同步是根据字段映射来确定字段读写关系的,读数据也是拼接sql去取数据。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。