开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks实时同步的历史数据同步过程中是无锁的吗?

DataWorks实时同步的历史数据同步过程中是无锁的吗?什么时候上flink-cdc的整库同步,之前flink asia 2023看到介绍,现在问题就是很尴尬啊,我们之前的数据同步费用还行,如果现在用独享的,这样算下来,实时还必须是高可用,机器资源就是2,而且费用就是*2,而且还有一个polardb-x,算下来机器成本一个月就是近3k+

展开
收起
cuicuicuic 2024-03-11 14:47:47 13 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的实时同步功能通常设计为尽可能减少对源数据库的影响,以实现接近无锁的数据同步。然而,具体是否完全无锁取决于所采用的同步技术和配置。

    1. 无锁同步:对于某些同步工具和技术,如Flink CDC(Change Data Capture),它们通常能够实现无锁或低锁的数据同步,这意味着在同步过程中,源数据库的操作不会受到阻塞或影响较小。

    2. Flink CDC整库同步:Flink CDC提供了整库同步的能力,这允许用户同步整个数据库或特定表的数据变更。这种同步方式通常适用于需要实时数据流处理的场景。

    3. 费用考虑:对于独享资源,确实需要考虑机器成本和高可用性的要求。如果您选择了高可用性的配置,那么机器资源将翻倍,相应地,费用也会增加。

    4. PolarDB-X:如果您还使用了PolarDB-X,那么整体的机器成本会进一步增加。PolarDB-X是一种云原生的分布式数据库,它提供了高可用性和强一致性的特点。

    5. 成本评估:根据您提供的信息,如果实时同步必须使用高可用性配置,并且考虑到PolarDB-X的成本,整体的机器成本可能会达到每月近3k+。

    2024-03-11 22:52:18
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载

    相关实验场景

    更多