开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

帮忙看看DataWorks这个数据同步任务为什么报错了?是的,张家口通过公网访问相关的sls,自动重

问题1:帮忙看看DataWorks这个数据同步任务为什么报错了?https://di-cn-zhangjiakou.data.aliyun.com/web/di/instanceLog?id=45300857&resourceGroup=S_res_group_430833813959296_1625034865917&requestId=1000190752099_3_T3_1149685004&projectId=1884,是的,张家口通过公网访问相关的sls,自动重试了3次,都是失败的,而且大面积失败,但是有少部分又是成功的艺伟
问题2:是因为跨国的公网不稳定吗?之前是 -1 的时候也是堆积,所以我才改成了 2048 限制一下大小,还有个DataWorks问题是尝试同步一张 Postgres 分区表时会报这么个错:

pre handler fail!reason:FAIL,reason:Unexpected error while attempting to alter publication add table {db: ofo_order, publication: di_pub_6696},errorMessage:ERROR: relation "analytics_data" is already member of publication "di_pub_6696"Request ID:0a98a33416862091281976923eb7bf?这是新的报错,预处理就报错了image.png
刚刚自动断了,又重新开始同步,是两个独立的同步任务哈,不同的数据源,互相不影响,两个不同的 PG 实例,没有冲突,我试一下建新任务,还是上海地域哈?

展开
收起
真的很搞笑 2023-06-11 09:21:34 54 0
1 条回答
写回答
取消 提交回答
  • 回答1:张家口访问香港地域的loghub吗 重跑能执行成功吗 回答2:没有跨国噢 原因我再确认一下,限制2048,然后wal堆积到max_wal_size以后,自动断开订阅了,之前我遇到过这个问题,后来又改回-1了,现在他们在处理wal堆积的问题,如果原来的任务不需要了 得把slot删除 再重建image.png 都处理的同一个pg吗 看着是有表冲突了,堆积的问题 不需要新建任务 ,预处理的问题 可以尝试删除重建一下,再帮忙发一下slot堆积情况的截图 任务还是原来这个哈?image.png ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-11 09:27:12
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载