开发者社区> 问答> 正文

dataphin支持这样的功能吗?如做质量检测,监测到脏数据这条数据不进主表,进脏数据表。

dataphin支持这样的功能吗?如做质量检测,监测到脏数据这条数据不进主表,进脏数据表。

展开
收起
闻闻615 2024-02-02 08:33:49 45 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Dataphin确实支持数据质量检测的功能,并且能够在监测到脏数据时将其排除,不进入主表而进入脏数据表。这一功能主要通过以下几个步骤实现:

    1. 创建数据质量规则:Dataphin允许用户创建用于校验数据表的质量规则。这些规则可以包括字段空值校验、唯一值校验、波动性监测和字段比对等多种类型。
    2. 质量监控:Dataphin会自动监控数据表的质量,一旦数据表出现质量风险,系统会自动报警,通知告警接收人。
    3. 数据探查功能:用户可以开通数据质量功能模块来使用数据探查功能,这有助于进一步分析和识别数据质量问题。
    4. 权限管理:Dataphin提供了权限管理,确保只有授权的用户才能查看数据表的探查报告和记录。
    5. 指标质量监控:除了数据表,Dataphin也支持创建校验指标的质量规则,以便在指标层面进行质量监控。

    综上所述,Dataphin提供了一个全面的数据质量管理框架,可以帮助用户有效地监控和维护数据质量,确保数据的完整性和准确性。这对于任何依赖高质量数据的业务决策和运营都至关重要。

    2024-02-04 13:52:20
    赞同 展开评论 打赏
  • Dataphin作为阿里云智能数据构建与管理平台,确实支持数据质量检测,并在发现脏数据时可以选择不将错误数据写入主表,而是将其记录到特定的脏数据表中。您可以设置数据清洗规则和数据质量校验策略,在数据同步或任务执行过程中自动捕获并处理不符合规范的数据。

    2024-02-02 17:12:31
    赞同 展开评论 打赏
  • 阿里云Dataphin支持在数据集成和开发过程中进行数据质量检测,并且可以配置相应的处理策略。在数据同步过程中,当监测到脏数据时,可以通过规则设置使其不流入主表,而是存储到特定的脏数据表中,便于后期进行数据清洗和分析。

    在Dataphin中,可以通过创建数据开发模块,配置数据同步任务时设置数据清洗规则和异常处理策略。如果数据不满足预设的质量标准或业务规则,可以配置任务将这些数据导入到专门的脏数据表中。这一过程可以通过规则引擎或数据转换节点等手段实现,确保主数据表始终保持高质量的数据。

    具体实现时,可能需要在数据同步任务的转换规则或者数据质检环节设置相应的条件分支,当数据触发预设的异常条件时,将数据流向特定的异常数据流或脏数据表。这样不仅可以保障主数据表的准确性,还能方便地追踪和处理异常数据,提升整个数据链路的数据质量管理水平。

    2024-02-02 13:16:57
    赞同 展开评论 打赏
  • 质量监控规则可以配置异常归档表,把不符合预计的记录写入到归档表,但是目前还没办法支持提前进行监控后再决定写入哪张表。此回答自钉钉群“Dataphin公共云答疑群。”

    2024-02-02 08:50:18
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
问答排行榜
最热
最新

相关电子书

更多
构建企业级好数据(Dataphin智能数据建设与治理白皮书) 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载