你好,我在Dataworks中配了数据集成(odps -> elasticsearch update模式),任务自动调度起来观察日志并没有报脏数据,但是存在部分字段没有更新到,我应该怎么判断具体是什么原因导致的?补充:任务运行了好几天了,我指定更新了10个字段,ES中有的10个字段都更新到了,有的可能只更新到了8个字段。并发:2,BatchSize:256
除了es4点以后没有操作 还要确认mc4点以后没有操作 最好查审计日志 碰到很多情况数据不一致 是同步后有其他更新操作导致的 这类操作通常同步任务owner不感知,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。