开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks中离线同步 mongo集合数据到elasticsearch后,源mongo集合中?

dataworks中离线同步 mongo集合数据到elasticsearch后,源mongo集合中部分数据被删除后,也需要自动在es中删除对应数据,请问有啥好的处理方式吗?

展开
收起
cuicuicuic 2023-05-13 10:22:33 61 0
1 条回答
写回答
取消 提交回答
  • 存在即是合理

    在DataWorks中,可以通过配置数据同步任务的删除策略来实现自动删除源Mongo集合中被删除的数据。具体步骤如下:

    1. 在同步任务的配置页面中,找到“删除策略”选项。

    2. 选择“源删除目标”,并设置删除条件。例如,可以根据MongoDB中的_id字段进行删除操作。

    3. 在同步任务的配置页面中,找到“过滤条件”选项。

    4. 在过滤条件中添加一个过滤条件,以过滤出已经被删除的数据。例如,可以使用MongoDB中的delete方法过滤出已经被删除的数据。

    5. 保存配置并启动同步任务。

    通过以上步骤,就可以实现在源Mongo集合中部分数据被删除后,自动在ES中删除对应数据的功能。需要注意的是,如果在同步任务的运行过程中,源Mongo集合中又新增了数据,这些新增的数据不会被同步到ES中,因此需要手动进行同步操作。

    2023-05-20 15:02:36
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载