开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据增量同步

已解决

DataWorks数据增量同步

展开
收起
阿里云服务支持 2022-12-13 17:20:40 372 0
1 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    DataWorks数据集成结合调度参数使用,可实现以下场景:

    增量数据同步

    在部分reader插件可通过调度参数实现每次调度只同步指定时间范围的数据至目标端。结合补数据功能可时间对应时间数据同步至目标端对应分区的功能。例如MySQL、loghub、kafka等。增量同步语法需要符合源端数据库语法。

    动态表名或文件路径表名或文件名

    使用调度参数可实现每次调度同步不同表的目的。例如OSS、FTP,MySQL等。部分插件可能需要转脚本配置。

    在同步时为目标表某字段赋值常量或时间变量

    字段映射时手动编辑字段使用调度参数可为目标表某字段赋值同步业务日期的常量值。

    说明:具体插件是否支持该操作请以插件为准,上述各场景配置示例详参见调度参数在数据集成的典型应用场景

    2022-12-13 17:31:34
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多