开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks开发环境的任务,可以配置数据质量监控吗?要怎么调度呢?

DataWorks开发环境的任务,可以配置数据质量监控吗?要怎么调度呢?

展开
收起
真的很搞笑 2024-02-15 08:54:59 54 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks开发环境的任务可以配置数据质量监控,并且任务调度可以通过运维中心进行管理和执行

    在DataWorks平台上,数据质量监控是一个重要的功能,它可以帮助确保数据的准确性和一致性。要配置数据质量监控规则,首先需要登录到DataWorks控制台,然后进入数据质量模块。在这里,您可以根据工作空间选择相应的表规则配置页面,通过规则管理来按表配置监控规则。这些规则可以基于不同的监控分类和粒度,如数据量、主键、离散值、汇总值、业务规则等,以字段级别或表级别进行设置。配置完成后,建议先试跑规则,以确保它们能够有效地监控数据质量并及时拦截问题任务。

    至于任务调度,DataWorks提供了强大的调度管理能力。任务调度执行可以在DataWorks的运维中心进行配置和管理。在运维中心,您可以查看任务的依赖关系图示、实例的运行状态以及上下游关系。DataWorks会根据节点的调度配置模拟任务调度时的参数转换,您可以基于这些转换后的参数值验证调度参数是否正确,并根据业务需求进行调整。系统会根据调度类型及周期数生成相应的实例,并通过周期实例的方式自动调度运行任务。如果任务需要特殊的资源或者网络环境,比如访问VPC网络或IDC网络中的数据源,可以使用独享调度资源组,并通过运维助手进行安装和配置所需的Python第三方包或网络连通解决方案。

    综上所述,DataWorks不仅支持数据质量监控的配置,还提供了灵活的任务调度管理功能,以确保数据的准确性和任务的高效执行。

    2024-02-16 11:02:31
    赞同 展开评论 打赏
  • 开发环境不支持自动调度哈 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-02-15 09:04:07
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多