开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

问一下我DataWorks这里咋获取不到日志呢?

问一下我DataWorks这里咋获取不到日志呢? a7a41885422dc8d99461d896cef7ab27.png

展开
收起
爱喝咖啡嘿 2023-01-03 13:14:25 194 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,看看这几个点排查一下:在使用大数据开发套件时最常用的就是数据同步模块,工单里最常见的问题就是其中数据同步的问题,这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例,主要是日志中出现数据回滚写入的问题。 那首先看下日志中数据回滚的原因,当数据写入rds或者hybridDB等一些支持事务的数据库中,数据批量写入,一旦由于各种原因没有写入成功,这个批次的数据会回滚重新写入,如果再次写入失败,就会报脏数据的错误导致任务失败。数据写入失败可能是以下原因导致回滚。 1,脏数据(数据值超过数据类型最大范围,数据类型不对应等等) 2,目标数据源字段设置,比如默认不允许为空 3,主键冲突 4,目标数据源本身负载太高,写入时死锁 5,同步的设置的速度太大,比如数据量很大,速度设为10M/s。

    2023-01-08 19:53:09
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载