开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

问下,用dataworks数据集成怎么同时支持实时同步和T+1的同步方式? 我看官方文档说delet

已解决

问下,用dataworks数据集成怎么同时支持实时同步和T+1的同步方式? 我看官方文档说delete的数据无法同步? 这个怎么解决呀 ?云下sql server 到mc

展开
收起
cuicuicuic 2023-05-28 16:59:02 904 0
3 条回答
写回答
取消 提交回答
  • 官方回答

    从哪里同步到哪里 mysql到mc吗https://help.aliyun.com/document_detail/175676.html?spm=a2c4g.137670.0.i1
    https://help.aliyun.com/document_detail/175676.html?spm=a2c4g.137670.0.i1
    可以参考看下 sql server数据源的支持情况 目前仅支持离线的方式 写入mc不支持更新写入 由于mc本身不支持update 如果有需要 可以先同步到临时表 然后通过join等方式merge到目标表

    2023-07-10 17:17:28
    赞同 展开评论 打赏
  • 在 DataWorks 数据集成中,实时同步和T+1同步是两种常见的数据同步方式,每种方式都有其适用场景和特点。关于 delete 数据的同步问题,您可以通过以下方式解决:

    实时同步方式:

    在实时同步场景下,可以通过触发器或者增量更新来保证数据的实时同步。在增量更新的模式下,新增、更新和删除操作都会被同步到目标端。 当删除操作发生时,源端数据库会生成对应的 delete 记录。您可以在数据同步任务中配置规则,将 delete 操作同步到目标端,确保源端和目标端的数据一致性。 在配置同步任务时,确保适当地选择源端和目标端的表映射关系,并配置正确的同步规则和字段映射,以确保删除操作能够正确同步到目标端。 T+1同步方式:

    在 T+1 同步场景下,通常会按照一定的时间窗口或时间周期,将前一天的数据进行同步。 在这种情况下,如果源端发生了删除操作,可以通过增量抽取源端变更数据的方式来同步到目标端。在增量抽取时,需要确保删除操作被正确识别并同步到目标端,以保证目标端数据的一致性。

    2023-05-29 09:44:43
    赞同 展开评论 打赏
  • 关于使用DataWorks数据集成同时支持实时同步和T+1的同步方式,可以通过配置同步任务的调度方式实现。可以设置一个实时同步任务和一个T+1同步任务,实时同步任务可以使用DataWorks的实时同步功能,而T+1同步任务可以使用DataWorks的周期性同步功能,比如每天凌晨进行同步。这样可以同时满足实时同步和T+1同步的需求。

    关于delete的数据无法同步的问题,这个需要根据具体情况来解决。如果需要同步delete操作,可以使用DataWorks的增量同步功能,将delete操作转换成update操作。具体操作可以参考DataWorks的增量同步文档。

    关于merge操作,可以通过编写SQL语句来实现,也可以通过DataWorks的可视化操作界面来配置。

    关于base表和log表的同步方式,可以通过配置同步任务的方式来实现。base表可以使用T+1同步方式,而log表可以使用实时同步方式,这样可以实现数据的实时同步。如果需要增加log表的存储资源,可以根据需要扩展存储资源。

    关于源数据库表中数据删除的同步方式,可以使用增量同步功能将delete操作转换成update操作,或者可以使用DataWorks的离线同步功能,在每次同步时重新创建目标表,并将源表中的数据全部重新同步。

    关于DataWorks的同步方式,它使用的是数据库的binlog日志来进行同步,而不是直接读取数据库日志。

    2023-05-29 08:47:15
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    生态与兼容MaxCompute大数据生态集成和开发工具 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载