开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成新增任务时为啥只能新增离线同步任务,没有实时同步任务?

DataWorks数据集成新增任务时为啥只能新增离线同步任务,没有实时同步任务?

展开
收起
wenti 2023-03-13 17:11:00 356 0
2 条回答
写回答
取消 提交回答
  • 支持新建实时任务的——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-13 23:03:03
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    DataWorks数据集成节点会根据实际业务和技术需要对数据进行不同形式的同步。其中离线同步和实时同步模式是两种最常用的同步模式。

    离线同步是指在一个时间段内,将数据库中的数据一次性批量同步到目标数据源中。离线同步策略适用于数据量较大,同步频率较低的场景。例如:每日凌晨同步订单数据到数据仓库中。

    实时同步是指在数据源中的数据发生变化时,实时将变化的数据同步到目标数据源中。实时同步策略适用于数据量较小但更新频率较高的场景。例如:在线销售系统中实时同步订单数据到库存管理系统中。

    在DataWorks数据集成节点,新增任务时只能新增离线同步任务是因为实时同步任务需要使用 Storm 任务进行同步,需要开启专用的实时同步通道,同时对性能和资源有更高的要求,需要提前单独申请。而离线同步任务则不需要专用的通道,数据处理过程可以用计算资源较少的 MapReduce 任务来完成。若需要使用实时同步,请联系阿里云技术支持进行申请和配置。

    2023-03-13 17:19:44
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载

    相关实验场景

    更多