境外银行数据资产建设-数据资产质量管理

简介: 基本概念:数据资产质量:是指数仓数据资产表的质量,包含表的设计质量、开发质量、产出质量;设计质量:指资产表在业务数据链路中的定位是否合理,信息覆盖与整合是否达到要求;开发质量:指资产表在数据开发编码过程中,是否遵循约定的开发规范,数据加工逻辑是否正确;产出质量:指资产表对应任务的产出时间是否符合预期,产出结果数据是否达到要求;影响因素:信息因素:开发人员是否了解资产表的具体需求目标,是否了解具体的

基本概念:

数据资产质量:是指数仓数据资产表的质量,包含表的设计质量、开发质量、产出质量;

  • 设计质量:指资产表在业务数据链路中的定位是否合理,信息覆盖与整合是否达到要求;
  • 开发质量:指资产表在数据开发编码过程中,是否遵循约定的开发规范,数据加工逻辑是否正确;
  • 产出质量:指资产表对应任务的产出时间是否符合预期,产出结果数据是否达到要求;

影响因素:

  • 信息因素:开发人员是否了解资产表的具体需求目标,是否了解具体的业务数据链路和信息分布;
  • 工具因素:平台工具是否稳定,是否有DQC能力,是否有优先级控制能力 
  • 流程因素:研发流程是否合理,是否有代码质量卡点,是否有数据质量卡点,是否有执行保障机制 
  • 人为因素:人员编码水平是否打标,流程执行是否到位,需求理解是否到位

流程设计:

流程管理:

  • 需求文档落地:

数据类需求文档是数据开发前的资料收集与整理的重要产出,基于文档和业务方对齐具体数据需求,包括各种数据来源信息、加工逻辑信息、结果数据格式等等;

  • 需求迭代记录:

项目类数据需求往往因进度问题,需求调整较多,为保证信息对齐,建议使用迭代开发,使用aone或语雀 记录迭代需求;

非项目类需求迭代,必须提aone需求单排期处理;

  • 资产设计:

中间层资产按照中间层资产设计要求,需要在资产关联大图上标明,并给出明确的 实体&单据 定义,防止重复建设;

项目类应用层资产按需求逻辑,明确数据资产间的流转依赖关系,给出明确的数据 维度&粒度 定义,保证资产关系清晰;

非项目应用层资产按需求文档,给出明确的数据 维度&粒度 定义,保证资产关系清晰;

  • 数据自测:

所有数据表交付验收前,必须进行自测,保证数据表数据量符合预期,保证数据粒度符合预期,保证指标字段取值符合预期;

可通过查询数据进行观察,后期由平台提供校验工具,方便进行数据自测;

  • QA验收:

涉及业务回流的资产表,由业务QA同学负责验证数据质量;因数仓不存在测试环境,所以,可与QA同学沟通,采用uat、预发环境验证;

部分特殊情况下,可在数仓dev环境 人工写入数据进行逻辑验证;

  • 业务验收:

非业务回流类资产表,如报表等,由业务同学自行验收,部分高保障报表(如高管看板)可引入数据质量管理团队相关同学进行验收;

因统计指标等数据逻辑加工复杂,业务同学发现问题周期较长,可与业务同学约定部分验证case,通过后可先上线,再迭代;

  • 任务发布:

所有回流类任务发布,必须按要求注册业务风险场景( 无系统支持时 可采用文档记录),按业务产出要求配置任务优先级(如基线控制);

对于高风险场景任务,要求进行代码review ,保证代码质量;

  • DQC配置:

按需进行数据质量监控规则配置,要求中间表必须配置空表检测、重复值检测;高风险应用表必须配置空表检测、重复值检测、业务逻辑检测等;

全部采用强规则控制,检测异常时中断任务并告警,防止影响下游任务;

  • 资产文档更新:

中间层数据资产表上线后需要更新中间层资产文档,方便进行中间层数据资产管理;

项目类应用层数据资产表上线后,可在各自项目文档库维护,方便需求方查看项目产出数据资产情况;

非项目应用层数据资产表可不做要求,按需求交付即可;

目录
相关文章
|
1月前
|
SQL 运维 监控
企业财务经营管理解决方案
介绍企业财务经营管实用理解决方案。
|
8月前
|
数据采集 传感器 数据挖掘
数据资产运营
数据资产运营
|
10月前
|
供应链 安全 搜索推荐
数据资产建设的灵魂三连问
数据资产建设的灵魂三连问
|
数据采集 存储 人工智能
如何将数据作为战略资产进行管理
在当今世界,很难找到没有积极重新考虑数据在其商业模式中所扮演的角色的组织。
如何将数据作为战略资产进行管理
|
数据采集 监控 数据管理
数据资产的质量管理
数据资产的质量管理
410 0
|
SQL 自然语言处理 分布式计算
境外银行数据治理——思路分享
前言:在数据治理领域的文章大多都是从业务角度进行切入,本文从纯技术角度切入,介绍了数据血缘关系的图分析思路、领域建模层面构建中间层的思路。以及纯粹从词法分析和语法分析的统计学层面维度。
402 0
境外银行数据治理——思路分享
金融合同管理
本文研究全球及中国市场金融合同管理现状及未来发展趋势,侧重分析全球及中国市场的主要企业,同时对比北美、欧洲、中国、日本、东南亚和印度等地区的现状及未来发展趋势
|
安全 物联网 区块链
阿里云农产品区块链溯源服务为农产品建立信任体系
农产品溯源系统,全程商品种养殖管理记录,为农产品建立信任体系,消费者扫码了解商品全部溯源信息,消除安全担忧,获取消费者信任.
阿里云农产品区块链溯源服务为农产品建立信任体系
|
存储 供应链 安全
区块链赋能跨境贸易的“最后一公里” ——“跨境贸易风险监测与可信溯源平台” 成功上线
基于魔橙科技平台灵活的技术架构,魔橙科技和复旦大学、上海海事大学、上海海洋大学根据跨境贸易风险监测、食品安全及供应链管理等需求,搭建开发了“跨境贸易风险监测与可信溯源平台”,并以此构筑了多方受益的可信消费闭环。
区块链赋能跨境贸易的“最后一公里” ——“跨境贸易风险监测与可信溯源平台” 成功上线
|
数据采集 存储 监控
银行业数据治理之数据资产管理心得
本文是阿里云数据中台资深专家结合自己十几年工作经验,从数据资产管理的角度做了一些总结和思考。
2609 0
银行业数据治理之数据资产管理心得