开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

你好,我在Dataworks中配了数据集成任务自动调度起来观察日志并没有报脏数据,但是存在部分字段?

你好,我在Dataworks中配了数据集成(odps -> elasticsearch update模式),任务自动调度起来观察日志并没有报脏数据,但是存在部分字段没有更新到,我应该怎么判断具体是什么原因导致的?补充:任务运行了好几天了,我指定更新了10个字段,ES中有的10个字段都更新到了,有的可能只更新到了8个字段。并发:2,BatchSize:256

展开
收起
真的很搞笑 2023-08-21 16:19:36 72 0
1 条回答
写回答
取消 提交回答
  • 除了es4点以后没有操作 还要确认mc4点以后没有操作 最好查审计日志 碰到很多情况数据不一致 是同步后有其他更新操作导致的 这类操作通常同步任务owner不感知,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-21 16:28:59
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载