DataWorks实时同步的历史数据同步过程中是无锁的吗?什么时候上flink-cdc的整库同步,之前flink asia 2023看到介绍,现在问题就是很尴尬啊,我们之前的数据同步费用还行,如果现在用独享的,这样算下来,实时还必须是高可用,机器资源就是2,而且费用就是*2,而且还有一个polardb-x,算下来机器成本一个月就是近3k+
DataWorks的实时同步功能通常设计为尽可能减少对源数据库的影响,以实现接近无锁的数据同步。然而,具体是否完全无锁取决于所采用的同步技术和配置。
无锁同步:对于某些同步工具和技术,如Flink CDC(Change Data Capture),它们通常能够实现无锁或低锁的数据同步,这意味着在同步过程中,源数据库的操作不会受到阻塞或影响较小。
Flink CDC整库同步:Flink CDC提供了整库同步的能力,这允许用户同步整个数据库或特定表的数据变更。这种同步方式通常适用于需要实时数据流处理的场景。
费用考虑:对于独享资源,确实需要考虑机器成本和高可用性的要求。如果您选择了高可用性的配置,那么机器资源将翻倍,相应地,费用也会增加。
PolarDB-X:如果您还使用了PolarDB-X,那么整体的机器成本会进一步增加。PolarDB-X是一种云原生的分布式数据库,它提供了高可用性和强一致性的特点。
成本评估:根据您提供的信息,如果实时同步必须使用高可用性配置,并且考虑到PolarDB-X的成本,整体的机器成本可能会达到每月近3k+。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。