开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

开发数据集成作业时,日志显示读取了855093条,但查看目标表数据只有1700多条,这种可能是什么问

开发数据集成作业时,日志显示读取了855093条,但查看目标表数据只有1700多条,这种可能是什么问题呢? LocalJobContainerCommunicator - Total 855093 records, 267789335 bytes | Speed 6.38MB/s, 21377 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.061s | All Task WaitReaderTime 82.889s | Percentage 100.00% 在源系统中找了一条未抽取过来的数据,DI作业数据源数据过滤条件单独限制该条,如“编号='14654'” 就能够抽取过来这条

展开
收起
游客3oewgrzrf6o5c 2022-08-03 12:04:54 506 0
1 条回答
写回答
取消 提交回答
  • 一般是查询的表和分区不是任务实际写入的,或者是同步后有其他任务操作过了表(此答案整理自DataWorks交流群(答疑@机器人))

    2022-08-03 14:44:26
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
Flink CDC:新一代数据集成框架 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
《DataWorks 数据集成实时同步》 立即下载