开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks如何使用maxcompute的数据集成功能?

DataWorks如何使用maxcompute的数据集成功能?

展开
收起
真的很搞笑 2023-08-27 17:28:11 54 0
1 条回答
写回答
取消 提交回答
  • ODS的数据需要由各数据源系统同步到MaxCompute,才能用于进一步的数据开发。本教程建议您使用DataWorks数据集成功能完成数据同步,详情请参见概述。在使用数据集成的过程中,建议您遵循以下规范:一个系统的源表只允许同步到MaxCompute一次,保持表结构的一致性。数据集成仅用于离线全量数据同步,实时增量数据同步需要您使用数据传输服务DTS实现,详情请参见数据传输服务DTS。数据集成全量同步的数据直接进入全量表的当日分区。ODS层的表建议以统计日期及时间分区表的方式存储,便于管理数据的存储成本和策略控制。数据集成可以自适应处理源系统字段的变更:如果源系统字段的目标表在MaxCompute上不存在,可以由数据集成自动添加不存在的表字段。如果目标表的字段在源系统不存在,数据集成填充NULL。
    https://help.aliyun.com/document_detail/154247.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 18:51:45
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载