数据治理必读系列(二)丨3步提升企业数据标准化程度

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化 DataV(企业版),20 个大屏 1 个月
简介: 数据治理必读系列(二)丨3步提升企业数据标准化程度


很多企业建设数字化转型过程中,为了让数据资产价值更充分地被挖掘和释放,数据治理因此被提上日程,瓴羊特推出数据治理系列,继
数据治理必读系列(一)|基于Dataphin,快速建设高质量数据支撑业务发展后,今天我们围绕企业数据标准化进行分享。

企业在设计、采购、生产、销售、物流、售后等业务环节,往往会存在大量的信息不规范、不统一、不及时的致数据资产无法在核心业务流程中高效流转和消费。

通过集成各系统,将数据融合打通形成数据流之外,非常重要的一环,是在企业内充分贯彻同一套数据标准,无论是后端设计研发,到前端业务运营消费,还是企业内跨部门、跨组织、跨角色协作,通过数据标准管理和实施,都能基于统一的术语和统计口径进行表单定义以及指标设计,以促进数据流通和消费。


常见的数据标准问题


根据中国信通院的定义:数据标准,是指保障数据的内外部使用与交换的一致性和准确性的规范性约束。更直接点来说,数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,通常从业务、技术、管理三方面进行定义。


然而,数据标准需求缺乏统一管理、不同系统间标准制定依据各异、资产建设缺乏和标准的关联,使得数据标准的建设和应用都面临很大困难:
建设:多源异构数据整合缺乏统一的约束口径,数据开发效率低
数仓开发人员无法快速理解数据背后的实际业务含义,需要和业务人员反复沟通,理解成本高;不同业务人员对于同一个指标口径的理解不一致,容易出现认识偏差,影响分析决策结果。
管理:各系统分散管理,人工保障规范,数据质量难以提升
不同主题域由不同负责人进行开发和维护,导致规范不一致,数据可信度降低;由于缺乏有效的工具监督,规范定义和开发实现隔离,无法保证数据开发符合标准规范,数据质量难以提升,导致频繁的数据重构,管理成本高。
使用:缺少元数据信息及使用引导说明,数据消费难度大
数据的使用不仅需要明确数据详情,还需要参考元数据信息,以便数据使用方快速找到需要的数据并评估数据可用性。由于缺少必要的数据定义及使用说明,造成数据经常被误用滥用,数据消费难度大。

由此,我们需要一套功能全面、操作便捷的产品,来帮助企业中的数据标准管理人员/组织,提升企业数据标准化程度和数据资产可信度。        
Dataphin 数据标准模块在标准建设、标准管理、标准应用三大核心环节,提供了统一的产品化能力,并结合质量监控能力实现对资产对象的落标稽核,帮助企业解决数字建设管理过程中遇到的问题。02

Dataphin数据标准功能介绍

数据标准怎么建?数据标准模板,一次定义多次复用相较于传统模式下用 Excel 等线下文件管理数据标准的方式,Dataphin 支持在线创建标准集以便将规范相似、业务含义相关的数据标准进行统一管理,起到分类的作用,实现一次定义多次复用。如,某团队的基础数据标准需要具备以下属性:

  • 业务属性:标准名称、标准编码、描述
  • 技术属性:字段类型、字段长度、字段精度
  • 管理属性:标准制定部门、应用业务部门

在创建标准集模板时,我们可以将“标准制定部门”和“应用业务部门”的类型设置为“枚举单值”,且枚举值来源引用“公司部门”码表,这样在创建标准时,这两个属性会以下拉单选框的形式展示,且可选范围为“公司部门”码表配置的码值,不仅大大提升了标准填写人员的效率和体验,也避免信息来源和操作不一致造成的标准规范各异。

此外,为了更好地将历史已有标准文件导入系统进行统一管理,Dataphin 支持批量导入及更新数据标准,只需要下载标准模板并配置冲突策略,就可以实现约束一致的数据标准的批量更新。


       
如何高效管理标准?全生命周期管理,让多方协同更清晰


在Dataphin中完成数据标准创建后,会默认生成“草稿态”标准,确认填写无误后可以提交标准上线申请并生成对应的审批任务。Dataphin 支持设置标准审批模板,以适配不同管理范围下标准的审批。
标准上线后根据设置的标准生效时间,自动生成“待生效、已生效、已失效”的标准。上线后的标准支持在线修订,会生成“修订中”的版本,修订中版本再次发布前,不会影响线上已生效的标准版本。基于该流程,可以实现灵活完整的标准生命周期管理。

参考数据管理,有约束才够准确
数据标准常常需要和参考数据一起使用,才能更好地适配业务需求。常见的参考数据包括码表、词根、度量单独等等。
码表可用于约束标准属性字段的取值范围或直接作为范围值属性(如值域)的来源,提升标准定义的准确性;词根常用作词缀并作为数据表、字段等研发对象命名的参考依据,以提升命名规范性减少数据消费时的不一致性和理解误差。
Dataphin 数据标准支持码表和字根的创建和管理,通过简单的界面操作即可完成创建,并可在创建标准时引用码表作为取值范围的约束,降低了标准管理人员的操作成本。

数据标准怎么用?落标映射,将数据治理前置到研发链路


标准创建完成后,需要和对应的资产对象关联起来才能真正实现其应用价值,实现对资产的规范性约束。Dataphin 支持基于标准属性值和资产对象元数据属性值进行落标关联映射配置,以实现标准和资产的关联,作为后续落标稽核的基础。下面,我们通过一个例子来进一步理解 Dataphin 如何实现落标映射与稽核。
首先,我们需要圈选出进行映射匹配的标准和资产对象来源范围:

  • 标准:来自于“测试标准集”的所有“已生效”状态的标准
  • 资产对象:所属表名包含“test”字样的所有字段

接着,我们需要配置标准和资产对象的关联映射条件:标准名称 = 字段名称;
最后,我们需要配置该规则的执行时间和频率等信息。

基于上述配置,系统会自动执行该映射规则,圈选出相应范围的标准和资产对象并进行匹配。规则执行完成后,我们就可以在资产目录及规则执行明细页面清晰的看到某个资产关联到了哪些标准,以便参考映射到的标准定义进行开发,将数据治理前置到研发链路。                

落标评估,从源端保障数据规范统一


映射成功的资产对象是不是真正遵循了这些标准?接下来就需要我们的落标评估能力来助力。


Dataphin 支持针对资产对象的技术元数据进行落标评估,如字段类型、字段长度等。后续我们还将结合质量监控的能力,进一步拓展对值域、字段格式等内容的监控。针对不满足关联标准的资产,标准管理人员可以推动研发人员可以尽早进行整改,从源端保障数据规范性和统一性。            

03

结语

总体来说,作为资产治理的重要一环,Dataphin 数据标准功能为标准的统一管理提供了灵活的产品化能力支持,同时也能减少人工监控成本,为标准的落地执行提供了强有力的保障,以提升企业整体数字能力建设的标准化成熟和资产的健康度。

相关文章
|
5月前
|
人工智能 安全 搜索推荐
2024年度云治理企业成熟度发展报告解读(四)支柱结构关系及案例分享
从组织、成本、稳定、安全到性能、效率这样一个路径,我们一定要有策略地完成各个支柱之间的互相配合。云治理不仅仅是技术问题,而是需要多团队合作和管理策略的制定。
2024年度云治理企业成熟度发展报告解读(四)支柱结构关系及案例分享
|
5月前
|
存储 数据采集 监控
CDGA\如何建立实现数据治理的效率价值框架:实践案例解析
数据治理是一个持续优化的过程。组织应建立健全的监督与评估机制,定期对数据治理工作进行评估,发现问题及时整改。广东药科大学通过数据全景图和数据监控大屏,实现了对数据治理成果的动态、多维度呈现与监控,为科学管理决策提供了有力支撑。
|
5月前
|
数据采集 存储 人工智能
CDGA|企业的不同阶段如何做数据治理?
每个阶段的企业应充分认识到数据治理人才的重要性,加大培养力度,为企业的数字化转型提供坚实的人才保障。只有这样,企业才能在激烈的市场竞争中立于不败之地。
|
5月前
|
数据采集 存储 数据管理
CDGA|数据治理:确保数据质量与价值的综合性框架
数据治理是一个系统工程,涉及数据战略、数据架构、数据质量、数据安全、数据合规性、数据生命周期管理以及数据资产管理等多个方面。通过全面、系统地实施数据治理策略,可以确保数据资产的有效利用和价值的最大化。在数字化时代,数据治理已成为企业实现数字战略的基础和保障。
|
9月前
|
数据采集 人工智能 供应链
想要解决数据治理的难题吗?首先,摒弃无稽之谈
想要解决数据治理的难题吗?首先,摒弃无稽之谈
|
Java 测试技术 BI
研发管理者如何7步规范管理企业代码资产?
本教程向您展示如何在云效上设置代码仓库模板,如何设置研发协作规范,如何启动代码检测,以及如何设置保护分支与合并卡点、如何实现研发工作与需求的自动化消息通知、如何度量代码数据?
41452 15
|
人工智能 搜索推荐 物联网
谈谈数据标准化是数据有效流动的基础
技术的变革正在打破市场平衡。大数据、数据分析、人工智能(AI)和物联网(IoT)正在改变组织间联系和互动的方式。
谈谈数据标准化是数据有效流动的基础
|
数据采集 存储 安全
数据标准体系框架规划【参考】
随着公司数字化转型的深入建设和数字化水平的提升,公司积累了海量的数据信息。
数据标准体系框架规划【参考】
《以架构视角解读和落实银行数字化转型的两份重磅指导文件》下载地址
2021年12月和2022年1月,两份关于银行数字化转型的重量级指导文件—中国人民银行的《金融科技发展规划(2022—2025 年)》和银保监会的《关于银行业保险业数字化转型的指导意见》先后印发,这对在积极筹备数字 化转型工作的各类银行而言,正是 2022 年开年布局的最好指导。两份文件都对银行的数字化转型提出了具体要求,二者各各有侧重、相辅相成、有机融合。
100 0
《以架构视角解读和落实银行数字化转型的两份重磅指导文件》下载地址
《以架构视角解读和落实银行数字化转型的两份重磅指导文件》下载
2021年12月和2022年1月,两份关于银行数字化转型的重量级指导文件—中国人民银行的《金融科技发展规划(2022—2025 年)》和银保监会的《关于银行业保险业数字化转型的指导意见》先后印发,这对在积极筹备数字 化转型工作的各类银行而言,正是 2022 年开年布局的最好指导。两份文件都对银行的数字化转型提出了具体要求,二者各各有侧重、相辅相成、有机融合。
107 0
《以架构视角解读和落实银行数字化转型的两份重磅指导文件》下载