开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

从dataworks数据集成侧同步任务中新增postgresql一键实时同步到hologres后,?

问题1:从dataworks数据集成侧同步任务中新增postgresql一键实时同步到hologres后,postgresql wal日志有积压,这个如何处理?重新触发更新,日志还是往上增长image.png image.png image.png image.png 问题2:我先不操作,您说的重建是指的重新clone一个任务,再执行吗?也就是说12个小时以后才能看到堆积有没有下降是吧

展开
收起
cuicuicuic 2023-06-11 08:38:40 74 0
1 条回答
写回答
取消 提交回答
  • 回答1:怀疑是源端没有数据更新 影响了wal日志堆积,重新触发了两条更新,再观察一下日志存储,然后发一下数据集成 实时任务日志里的 jobid和region值,执行步骤里 有个启动实时同步任务这一步 查看详情 可以点击跳转到实时同步任务 查看日志,怀疑是把di_slot_6408下线重建就可以,我确认一下是否有影响 回答2:是指对这个slot删除重建 先不操作image.png 辛苦先将原来的实时同步任务 终止 然后重新启动一下 不需要重置位点 自动断点续传 数据集成侧当前上报的位点是24小时,要求wal日志保留24小时,现在做了变更改到12小时了 可以缓解一下这个问题,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-11 08:47:58
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多