开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

你好,我在Dataworks中配了数据集成任务自动调度起来观察日志并没有报脏数据,但是存在部分字段?

你好,我在Dataworks中配了数据集成(odps -> elasticsearch update模式),任务自动调度起来观察日志并没有报脏数据,但是存在部分字段没有更新到,我应该怎么判断具体是什么原因导致的?补充:任务运行了好几天了,我指定更新了10个字段,ES中有的10个字段都更新到了,有的可能只更新到了8个字段。并发:2,BatchSize:256

展开
收起
cuicuicuic 2023-08-21 16:19:36 44 0
1 条回答
写回答
取消 提交回答
  • 除了es4点以后没有操作 还要确认mc4点以后没有操作 最好查审计日志 碰到很多情况数据不一致 是同步后有其他更新操作导致的 这类操作通常同步任务owner不感知,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-21 16:28:59
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载