DataWorks如何使用maxcompute的数据集成功能?

DataWorks如何使用maxcompute的数据集成功能?

展开
收起
真的很搞笑 2023-08-27 17:28:11 88 分享 版权
1 条回答
写回答
取消 提交回答
  • ODS的数据需要由各数据源系统同步到MaxCompute,才能用于进一步的数据开发。本教程建议您使用DataWorks数据集成功能完成数据同步,详情请参见概述。在使用数据集成的过程中,建议您遵循以下规范:一个系统的源表只允许同步到MaxCompute一次,保持表结构的一致性。数据集成仅用于离线全量数据同步,实时增量数据同步需要您使用数据传输服务DTS实现,详情请参见数据传输服务DTS。数据集成全量同步的数据直接进入全量表的当日分区。ODS层的表建议以统计日期及时间分区表的方式存储,便于管理数据的存储成本和策略控制。数据集成可以自适应处理源系统字段的变更:如果源系统字段的目标表在MaxCompute上不存在,可以由数据集成自动添加不存在的表字段。如果目标表的字段在源系统不存在,数据集成填充NULL。
    https://help.aliyun.com/document_detail/154247.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 18:51:45
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

还有其他疑问?
咨询AI助理