开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks调度触发常规情况下是没有什么问题,比如有一些表污染了,出现某些脏数据?

DataWorks调度触发常规情况下是没有什么问题,比如有一些表污染了,出现某些脏数据,事后人工修复数据(手工SQL执行方式),能否触发表相关的数据质量校验(我以为的手工触发)?一般是具有权限比较高的人,手工直接执行SQL,把生产的数据一次性覆盖修复,一般在 dataworks 上写个临时SQL执行就可以了。期望达到只要生产表的数据发生变更或者覆写,都能触发表相关的数据质量

展开
收起
真的很搞笑 2024-08-21 15:17:15 24 0
1 条回答
写回答
取消 提交回答
  • 事后人工修复数据(手工SQL执行方式)----请问下 一般是在哪里执行呢

    能否触发表相关的数据质量校验---期望前往数据质量界面触发执行吗 还是?未来数据质量在数据开发(周期调度的节点)会上线一个质量节点 配置一个质量监控节点,导入已经配置的规则,然后在开发环境里执行下对生产表的校验。看这种情况是不是能满足? ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-08-21 21:47:05
    赞同 4 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多