DataWorks的datax有没有办法支持删除数据呢? 比如sqlserver 或者ES 。可能还不仅仅删除这些 比如说 我现在有一批要删除的数据和一批要插入的数据 或者更新 类似于cdc一样 想要对这批删除的数据 对数据库也进行操作 presql不能动态从数据库中获取数据
离线同步部分插件支持写入前清空即将写入的分区数据 像sql server支持写入前执行presql 具体可以看下每个插件的文档
https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations
源端和目标端分别是啥 期望源端删除数据 目标端同步删除数据? 目前只有部分实时同步支持 像mysql到holo整库实时等 sql server和es应该不支持 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataX 支持删除数据的操作,但需要通过特定的方式实现。
DataX 本身是一个用于数据同步的工具,它主要支持数据的离线同步,包括从源存储系统到不同类型目标存储系统的数据迁移。虽然 DataX 的主要功能是数据迁移和同步,但它也支持删除操作,具体如下:
总的来说,DataX 提供了一定的灵活性来处理数据同步过程中的删除操作,但具体的实现可能需要根据实际情况和需求进行适当的定制化开发。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。