开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks 的DQC,能发具体某个STRING类型字段的值出来吗?

dataworks 的DQC,能发具体某个STRING类型字段的值出来吗,看规则配置,好像只有数值型的?

展开
收起
cuicuicuic 2023-10-24 20:55:57 45 0
4 条回答
写回答
取消 提交回答
  • DataWorks的DQC(数据质量检查)可以对STRING类型字段的值进行检查和校验。在规则配置中,您可以选择STRING类型的字段,并设置相应的规则来检查该字段的值是否符合要求。

    例如,您可以设置一个规则来检查某个STRING类型字段是否为空或者是否包含非法字符等。具体操作步骤如下:

    1. 在DQC页面中,选择需要检查的规则模板,然后点击“编辑”按钮进入规则编辑页面。
    2. 在规则编辑页面中,选择需要检查的STRING类型字段,并设置相应的规则条件和校验方式。
    3. 点击“保存”按钮保存规则配置。
    4. 在DQC任务执行过程中,系统会根据您设置的规则对STRING类型字段的值进行检查和校验,并将检查结果展示在DQC报告中。
    2023-10-29 07:52:16
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据我所掌握的信息,DataWorks的DQC(数据质量检查)目前不支持直接检查字符串类型字段的值。但是,您可以使用一些技巧来实现类似的功能,例如使用正则表达式来检查字符串字段的值是否满足特定的模式。
    例如,如果您想检查一个字符串字段的值是否包含特定的子字符串,可以使用以下的DQC规则:

    rule id="check_string_field" description="检查字符串字段的值" type="table" sourceTableName="input_table" targetTableName="output_table" enabled="true" status="normal">
      <input>
        <field ref="string_field"/>
      </input>
      <condition type="expression">
        <expression>string_field like '%target_substring%'</expression>
      </condition>
      <output>
        <field ref="string_field"/>
      </output>
    </rule>
    

    在这个规则中,string_field是您要检查的字符串字段的名称,target_substring是您要查找的子字符串。规则会检查string_field的值是否包含target_substring,如果包含则将结果输出到目标表中。
    请注意,这只是一个示例规则,具体的规则配置可能需要根据您的实际需求进行调整。此外,使用正则表达式进行字符串检查可能会比较复杂,需要您有一定的编程基础。

    2023-10-25 13:19:37
    赞同 展开评论 打赏
  • DataWorks的DQC(数据质量控制)可以对STRING类型字段的值进行规则配置和检查。在规则配置中,您可以选择STRING类型的字段,并设置相应的规则来验证该字段的值。

    以下是一些示例规则,可用于检查STRING类型字段的值:

    1. 非空验证:确保字符串字段不为空。
    2. 长度验证:检查字符串字段的长度是否在指定范围内。
    3. 正则表达式验证:使用正则表达式模式匹配字符串字段的值。
    4. 包含特定字符验证:检查字符串字段是否包含指定的字符或子串。
    5. 不包含特定字符验证:检查字符串字段是否不包含指定的字符或子串。
    6. 格式验证:根据特定的格式要求验证字符串字段的值,例如日期格式、电话号码格式等。
    7. 唯一性验证:确保字符串字段的值在表中是唯一的。
    8. 自定义验证:根据业务需求编写自定义的验证逻辑。

    通过这些规则配置,您可以定义适用于STRING类型字段的各种验证条件,并在DQC中对数据进行质量检查和监控。

    2023-10-25 10:56:21
    赞同 展开评论 打赏
  • 是的,DataWorks的DQC(Data Quality Control)模块可以检查字符串类型字段的值。你可以创建规则来检查字符串类型字段的值是否满足特定的条件。例如,你可以创建一个规则来检查字符串类型字段的值是否包含特定的字符、是否满足特定的格式要求等。
    要创建一个检查字符串类型字段值的规则,你可以按照以下步骤操作:

    1. 在DQC控制台中,选择“规则”选项卡,然后点击“新建规则”按钮。
    2. 在弹出的对话框中,选择“规则类型”为“数据质量检查”。
    3. 在“规则属性”页面中,选择要检查的表和字段,并设置规则的检查条件。
    4. 在“规则详情”页面中,配置规则的其他属性,例如规则的名称、描述、检查频率等。
    5. 点击“保存”按钮,完成规则的创建。

    例如,你可以创建一个规则来检查字符串类型字段“name”的值是否包含特定的字符“@”。你可以按照以下步骤操作:

    1. 在DQC控制台中,选择“规则”选项卡,然后点击“新建规则”按钮。
    2. 在弹出的对话框中,选择“规则类型”为“数据质量检查”。
    3. 在“规则属性”页面中,选择要检查的表和字段“name”,并在“检查条件”中输入以下内容:
      name LIKE '%@%'
      

    这表示检查“name”字段的值是否包含字符“@”。

    1. 在“规则详情”页面中,配置规则的其他属性,例如规则的名称、描述、检查频率等。
    2. 点击“保存”按钮,完成规则的创建。

    这样,每当“name”字段的值发生变化时,DQC都会自动检查这个字段的值是否满足规则的条件,并生成检查结果。

    2023-10-24 21:40:34
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载