带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(5)

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(三)资产治理:标准、质量、安全、资源(5)

2) 质量规则模版

Dataphin 数据质量,支持对数据行完整性、一性、及时性、有性、一致性、性、自SQL 7 质量模版24 个模版100+不同指标的质量规则验,7 质量模版类介绍下:


image.png


注意这里对模版的整体能力进说明一个有更多的模版和应用场景,详见 Dataphin 产品


3) 产品能力展示


image.png


a) 质量大盘


质量可以示当验规则情况情况,有助于管理员快速发现整题,安排排务。


b) 模版管理


模版管理可以查看质量当前所有的模版信息


模版为系统内模版和自定义模版,系统模版,可以创建质量规则。组织内有通用求(性、务数据准确性等),可以沉淀为通用的模版,于业务质量规则的建。


c) 质量规则


支持质量、数据源)配置质量规则,并设置告警阈值和规则强配置调可以数据更新来自发质量的务,完成后后生成质量,并情况完成作。


d) 校验记录


记录可以查看次校验规则行的具体果和,是天检查数据质量和处理质量题最常用入口Dataphin 质量的记录次质量规验的时状态便误排


e) 数据源管理


数据源要进行数据质量检测务外,还要进的业务支撑。为了止数据质量响到业务,支持个数据源支持的最质量并行度控制,当达质量最并行度时,新度的质量规则会进入排队状态,以保护业务的正常开展

相关文章
|
5月前
|
安全 Shell Python
Dataphin功能Tips系列(9)-Dataphin中安全的使用账号密码(2)
在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥),如何在shell或者Python任务中安全的使用账号密码?
|
5月前
|
安全 Shell Python
Dataphin功能Tips系列(8)-Dataphin中安全的使用账号密码(1)
在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥),如何在shell或者Python任务中安全的使用账号密码?
195 1
|
1月前
|
消息中间件 Kafka
|
1月前
|
安全
|
1月前
|
安全
|
3月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7609 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
4月前
|
存储 SQL 多模数据库
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
Lindorm通过与Dataphin的深度整合,进一步解决了数据集成和数据治理的问题,为企业提供更加高效和更具性价比的方案。
多模数据库Lindorm再升级:对接Dataphin,打通数据治理“最后一公里”
|
3月前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用合集之如何从Dataphin使用界面查看版本
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
监控 数据可视化 BI
基于Dataphin+Flink构建期货交易监察实时应用
新一代证券交易监察系统利用大数据和实时计算技术强化风险控制、交易数据处理、识别异常交易等能力。通过Dataphin与Flink结合,构建期货交易监察实时数据应用;借助QuickBI用于打造实时看板和预警体系,实现期货交易监察的实时可视化分析和自动化预警。
263 0

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin