DataWorks DQC中SQL级别和任务级别的区分是什么？

在DataWorks的数据质量中心（DQC），SQL级别和任务级别是两种不同的数据质量检测方式，用于对数据进行不同层次的质量检查。

1. SQL级别：

   • SQL级别的数据质量检测是通过编写SQL语句来对数据进行筛选、聚合、计算等操作，并从中提取出关键的指标和异常情况。
   • 在SQL级别，您可以使用DataWorks DQC提供的内置函数和规则，或自定义SQL语句，对表里的数据进行质量检查。
   • 这种级别的检测更加灵活，可以根据具体需求编写复杂的SQL逻辑，但需要一定的SQL编程能力。

2. 任务级别：

   • 任务级别的数据质量检测是通过配置预定义的数据质量规则来对数据进行检查。
   • 在任务级别，您可以选择已定义好的数据质量规则，例如字段值为空、数据重复等，将这些规则应用于目标表进行检测。
   • 这种级别的检测相对简单，主要基于预定义规则的匹配和判定，无需编写复杂的SQL语句。

DQC中SQL级别和任务级别的区分：
sql级别：指多段sql，每段sql执行完毕后都会触发dqc执行校验；
任务级别：任务级别会等待整个任务的多段sql执行全部完毕，再统一校验。如果配置了任务级别的分区表达式，触发的时候是不通过匹配逻辑的（匹配逻辑：分区表达式根据调度传过来的bizdate做替换计算，得到的结果跟调度实际传过来的分区表达式做匹配，如果一致则用这个分区表达式下的规则校验，不匹配则不校验），任务级别直接用bizdate替换掉分区表达式得到结果，这个结果作为实际校验的分区，此回答整理自钉群“DataWorks交流群(答疑@机器人)”