境外银行数据资产建设-数据资产质量管理

简介: 基本概念:数据资产质量:是指数仓数据资产表的质量,包含表的设计质量、开发质量、产出质量;设计质量:指资产表在业务数据链路中的定位是否合理,信息覆盖与整合是否达到要求;开发质量:指资产表在数据开发编码过程中,是否遵循约定的开发规范,数据加工逻辑是否正确;产出质量:指资产表对应任务的产出时间是否符合预期,产出结果数据是否达到要求;影响因素:信息因素:开发人员是否了解资产表的具体需求目标,是否了解具体的

基本概念:

数据资产质量:是指数仓数据资产表的质量,包含表的设计质量、开发质量、产出质量;

  • 设计质量:指资产表在业务数据链路中的定位是否合理,信息覆盖与整合是否达到要求;
  • 开发质量:指资产表在数据开发编码过程中,是否遵循约定的开发规范,数据加工逻辑是否正确;
  • 产出质量:指资产表对应任务的产出时间是否符合预期,产出结果数据是否达到要求;

影响因素:

  • 信息因素:开发人员是否了解资产表的具体需求目标,是否了解具体的业务数据链路和信息分布;
  • 工具因素:平台工具是否稳定,是否有DQC能力,是否有优先级控制能力 
  • 流程因素:研发流程是否合理,是否有代码质量卡点,是否有数据质量卡点,是否有执行保障机制 
  • 人为因素:人员编码水平是否打标,流程执行是否到位,需求理解是否到位

流程设计:

流程管理:

  • 需求文档落地:

数据类需求文档是数据开发前的资料收集与整理的重要产出,基于文档和业务方对齐具体数据需求,包括各种数据来源信息、加工逻辑信息、结果数据格式等等;

  • 需求迭代记录:

项目类数据需求往往因进度问题,需求调整较多,为保证信息对齐,建议使用迭代开发,使用aone或语雀 记录迭代需求;

非项目类需求迭代,必须提aone需求单排期处理;

  • 资产设计:

中间层资产按照中间层资产设计要求,需要在资产关联大图上标明,并给出明确的 实体&单据 定义,防止重复建设;

项目类应用层资产按需求逻辑,明确数据资产间的流转依赖关系,给出明确的数据 维度&粒度 定义,保证资产关系清晰;

非项目应用层资产按需求文档,给出明确的数据 维度&粒度 定义,保证资产关系清晰;

  • 数据自测:

所有数据表交付验收前,必须进行自测,保证数据表数据量符合预期,保证数据粒度符合预期,保证指标字段取值符合预期;

可通过查询数据进行观察,后期由平台提供校验工具,方便进行数据自测;

  • QA验收:

涉及业务回流的资产表,由业务QA同学负责验证数据质量;因数仓不存在测试环境,所以,可与QA同学沟通,采用uat、预发环境验证;

部分特殊情况下,可在数仓dev环境 人工写入数据进行逻辑验证;

  • 业务验收:

非业务回流类资产表,如报表等,由业务同学自行验收,部分高保障报表(如高管看板)可引入数据质量管理团队相关同学进行验收;

因统计指标等数据逻辑加工复杂,业务同学发现问题周期较长,可与业务同学约定部分验证case,通过后可先上线,再迭代;

  • 任务发布:

所有回流类任务发布,必须按要求注册业务风险场景( 无系统支持时 可采用文档记录),按业务产出要求配置任务优先级(如基线控制);

对于高风险场景任务,要求进行代码review ,保证代码质量;

  • DQC配置:

按需进行数据质量监控规则配置,要求中间表必须配置空表检测、重复值检测;高风险应用表必须配置空表检测、重复值检测、业务逻辑检测等;

全部采用强规则控制,检测异常时中断任务并告警,防止影响下游任务;

  • 资产文档更新:

中间层数据资产表上线后需要更新中间层资产文档,方便进行中间层数据资产管理;

项目类应用层数据资产表上线后,可在各自项目文档库维护,方便需求方查看项目产出数据资产情况;

非项目应用层数据资产表可不做要求,按需求交付即可;

目录
相关文章
|
运维 安全 中间件
《IT运维之道》—— 导读
本书共分为五大篇,即机遇篇、做事篇、处事篇、技能篇和高级篇。每篇又分为若干章节,从不同的层面、角度阐述做人做事的方法以及相关基础知识。由于IT服务中最主要也是最基本的服务就是IT运维服务,因此本书对此方面的着墨最多。
2184 0
|
6天前
|
人工智能 API 内存技术
刚刚 DeepSeek V4.1 Flash 开启内测,1 分钟教你用上!
刚刚 DeepSeek 内测群发布了 DeepSeek V4.1 Flash 中间版本内测的消息,这次的模型采用了新的结构,原生支持多模态、能力更强、速度更快、且成本更低。
1758 9
|
10天前
|
人工智能 运维 BI
阿里云千问办公QwenWork深度解析:基于Qwen3.8,六大核心能力重构企业全自动化工作流与计费选型指南
传统AI办公工具大多停留在对话问答、文档摘要、简单文案生成层面,只能完成单点碎片化任务,无法自主拆解复杂业务流程,很难串联多工具、多文档、外部业务系统完成端到端完整工作交付。很多企业在落地AI办公的时候,需要组合多款不同工具,来回切换界面,手动复制粘贴中间结果,智能化改造落地门槛居高不下。千问办公QwenWork是整合多款智能体产品能力打造的一体化企业办公智能体平台,底层基座依托Qwen3.8大模型,打通桌面端Agent、云端Agent、企业协同Agent三种运行形态,不再局限简单问答,接收业务目标之后自主拆解任务步骤,调用各类工具,处理文档、表格、浏览器自动化、数据查询,直接输出可交付的办公
1638 2
|
11天前
|
网络协议 Linux iOS开发
【2026实测】Wireshark下载+安装+汉化+使用教程(图文版,巨详细)
Wireshark 是一款免费开源的网络协议分析工具,可实时捕获、解析并可视化数据包,助你诊断网络故障、分析通信协议(如HTTP、DNS、TCP等)。支持Windows/macOS/Linux,含中文界面,新手入门便捷。(239字)
|
7天前
|
SQL 人工智能 前端开发
QoderWake 1.0 正式发布:从桌面里的 Agent,到工作现场的数字员工
QoderWake v1.0正式发布:企业级数字员工团队平台。支持“一句话建岗”,预置10类特训岗位;Waker常驻钉钉/飞书群,@即响应、自动协作、跨任务记忆;具备定时/事件/API多触发方式与统一任务看板;已沉淀27.6万条记忆、12.3万项技能,助力组织实现人机协同增效。
771 2
|
5天前
|
缓存 测试技术 API
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)
DeepSeek V4.1 Flash 内测不用申请,base_url 不变、改个模型名就能调,9/10 到期。本文讲清接入、计费限流与多模态注意点。
774 0
DeepSeek V4.1 Flash 内测接入:改个模型名即可调用(附代码)
|
19天前
|
人工智能 自然语言处理 安全
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
本文聚焦阿里云2026年推出的三款自研AI办公产品,清晰拆解千问办公、Qoder Teams、Qoder CN的差异化定位与能力边界:千问办公主打职场全场景提效,支持自然语言指令一键完成PPT生成、数据分析等高频办公任务;Qoder Teams面向程序员团队,深度整合AI代码生成、团队协同与企业知识库能力;Qoder CN则专为金融、政务等强合规场景打造,实现数据不出境与VPC私有化部署。文章同步给出分场景选型指南与最新活动定价,帮助不同类型的企业按需组合产品,实现业务岗、研发岗与强合规场景的AI能力全覆盖。
3939 5
阿里云千问办公、Qoder Teams、Qoder CN区别与选择指南:模型能力、适用场景与最新活动参考
|
10天前
|
人工智能 自然语言处理 安全
阿里云AI数智鉴密:AI 生成内容如何拿到一张"防篡改的身份证"
隐形水印 + C2PA签名:让AI生成内容“持证上岗”。
1153 0
|
12天前
|
缓存 数据可视化 开发工具
DeepSeek Harness 怎么更新?dsh 更新完整指南:更新本体(npx、npm、源码)与更新插件两种方式
DeepSeek Harness 的更新分两层:本体更新(npx 自动最新、npm update -g、源码 git pull)与插件更新(插件市场点更新、命令行覆盖安装)。本文按「准备 → 更新本体 → 更新插件 → 更新后检查」四步走,覆盖新手常见疑问。
1416 1
DeepSeek Harness 怎么更新?dsh 更新完整指南:更新本体(npx、npm、源码)与更新插件两种方式