开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

为什么PostgreSQL同步MaxCompute没有实时同步?

为什么PostgreSQL同步MaxCompute没有实时同步? fca00fce694a18056563c30cd321d89c.png

展开
收起
十一0204 2023-04-03 22:51:55 283 0
4 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云大数据开发治理DataWorks中,PostgreSQL同步到MaxCompute的同步任务采用的是定时任务方式,即按照定时任务周期执行数据同步,而不是实时同步。这是因为实时同步会对网络带宽和系统资源造成较大压力,可能导致数据同步延迟和异常等问题。因此,DataWorks中暂时不支持实时同步。

    2023-04-24 14:53:59
    赞同 展开评论 打赏
  • 意中人就是我呀!

    对的 列表中没有就是还未支持 具体支持的完整列表 可以参考一下这块https://help.aliyun.com/document_detail/181656.html 此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-05 13:31:29
    赞同 展开评论 打赏
  • 存在即是合理

    PostgreSQL和MaxCompute都是数据存储和处理系统,但是它们有着不同的设计和实现方式,因此它们之间的数据同步可能会存在延迟。以下是一些可能导致PostgreSQL同步MaxCompute没有实时同步的原因:

    1、数据传输延迟:在将数据从PostgreSQL传输到MaxCompute时,可能存在网络延迟、传输速度限制等因素,这些因素可能会导致数据同步的延迟。

    2、数据处理延迟:MaxCompute可能需要进行一些数据转换和处理,例如将数据从PostgreSQL的结构转换为MaxCompute的结构,这些操作可能需要一些时间,从而导致数据同步的延迟。

    3、异常情况处理:如果在同步过程中发生了异常情况,例如网络中断、服务器故障等,同步过程可能会中断或出现错误,需要花费额外的时间来重新同步或修复同步错误。

    4、同步频率:数据同步的频率也可能会影响数据同步的实时性。如果同步频率较低,则同步的数据可能会滞后于实时数据,从而导致数据同步的延迟。

    综上所述,PostgreSQL同步MaxCompute没有实时同步可能是由多种因素导致的。为了解决这个问题,可以优化数据传输、处理方式,增加同步频率,或者采用其他数据同步方案,以实现更实时的数据同步。

    2023-04-04 09:46:30
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    可以关注官方了解下最新消息,个人理解 PostgreSQL 实时同步对性能影响比较大。

    2023-04-04 09:44:18
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载