DataWorks如何使用maxcompute的数据集成功能?
ODS的数据需要由各数据源系统同步到MaxCompute,才能用于进一步的数据开发。本教程建议您使用DataWorks数据集成功能完成数据同步,详情请参见概述。在使用数据集成的过程中,建议您遵循以下规范:一个系统的源表只允许同步到MaxCompute一次,保持表结构的一致性。数据集成仅用于离线全量数据同步,实时增量数据同步需要您使用数据传输服务DTS实现,详情请参见数据传输服务DTS。数据集成全量同步的数据直接进入全量表的当日分区。ODS层的表建议以统计日期及时间分区表的方式存储,便于管理数据的存储成本和策略控制。数据集成可以自适应处理源系统字段的变更:如果源系统字段的目标表在MaxCompute上不存在,可以由数据集成自动添加不存在的表字段。如果目标表的字段在源系统不存在,数据集成填充NULL。
https://help.aliyun.com/document_detail/154247.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。