这是我的第31篇原创
通常我在做数据架构的时候,都会在旁边加一个“数据治理”。但是吧,大多数时候都只是写写而已。因为这个数据治理太费劲了,短期内吃力不讨好,长期才能见效,但是又不足为外人道也。就像是好媳妇把家里拾掇的干干净净利利索索的,外人看来,最多夸一句“家里真干净”,却不会说你这是大才。
了解这个有什么用呢?我觉得可以在领导找你要方案的时候,拿来抄一下
OK,Let's GO!
“数据治理”到底有什么用?
“数据治理”到底有什么用?
一句话解释:“数据治理”往大了说,是进行企业的数据架构、数据标准、数据质量、数据安全等领域的建设和管理的全流程;往小了说,是在数据管理和使用层面之上进行规划、监督和控制。
嗯,你理解的没错,通常在数据体量较大的公司,数据治理才会被提上桌面。但是作为一个数据工作者,我认为无论你有多少数据--哪怕只是记手账--都需要进行数据治理。一个追求完美的数据工作者,应该要有数据洁癖。
“数据治理”应该做什么?
其实绝大多数事情,早已经有无数人在研究,也有很多的研究成果。稍微收集一下就会有很多很多的资料。
目前国内外数据治理的理论及规范:
国外:
- CWM 1.1
- MOF
- DAMA- DMBok
- DMM
国内:
- DMCM
- DCMM
在数据质量国家标准《GB/T 36073-2018》数据管理能力成熟度评估模型中定义,应该从数据战略、数据治理、数据架构、数据标准、数据生命周期、数据应用、数据质量、数据安全等八大方面进行评估。
在《DAMA-DMBOK职能框架》中,定义了10个主要的数据管理职能:
这两张图可以贴到你的ppt里面去,让你的领导看看数据治理是一个多么庞大的体系。
“数据治理”应该怎么做?
偷偷告诉你一个小技巧,有一个大帽子盖在前面,就方便咱做事,这招屡试不灵。
前面两张图,给你提供了一个巨大的帽子,但是怎么落实呢?这就可大可小,随心控制了。
我再给你扔一张图:
如果,你的公司啥都没有,就几个数据工程师。老板说要建数据中台,那么你有两种选择:1、离职;2、坚持,一定要坚持,坚持看完整个项目的失败,这样你就能经历一个完整的失败案例
扯回来。如果公司要让你做数据治理、数据管理、数据战略等事情,你就照着上面的表格去写就好了。
第一阶段:其实就是各种规划
- 首要的事情肯定是组织保障,啥话不说,先招几十号人来,人越多,你的位置越稳(来自于互联网摸鱼大法,笑^_^);
- 然后是各种流程、标准、制度建设,数据安全管理制度、数据处理流程、数据提取流程、元数据标准、主数据标准等。
- 还有各种摸底,数据资源梳理、数据需求梳理等等。
第二阶段:其实就是各种建设
- 根据元数据标准、主数据标准,建设元数据、主数据
- 根据数据处理流程、数据提取流程、数据需求梳理结果,建设各种固定报表、即席查询等内容
- 根据数据资源梳理结果,进行数仓的规划和建设
第三阶段:其实就是上各种平台
- 建设数据地图、血缘分析、数据资产目录等,将数据资产化
- 进行数据开放,进行各种AI探索
- 其实上面的建完了,基本上能打通的也都打通了,能统一的也都统一了,再加上一些统一管控的服务,数据中台也就差不多顺理成章,做好了
能不能一步到位?
看你是从哪一步开始走了。
如果你公司有成建制的数据团队,早就已经拉平认知、统一定义,流程规范,制度严谨,技术先进,投入有保障,那没问题,只要稍微组织一下相关知识的学习,做个半年规划,投入人力物力,肯定一步到位。
如果你公司就3、5个数据工程师,那么你有两个选择,1、离职;2、坚持看完整个项目的失败。对了,上面好像讲过了。
你问我为啥这么肯定?因为我经历过
地基不稳,无异于泥塘之中起高楼,能做起来简直是奇迹!
数据治理全景图
好了,最后放一张数据治理全景图,镇楼
今天又晚了,抱歉,让你久等了。