最近和几位同行交流,聊起公司数据的状态,情况都差不多:
- 系统多了,数据反而更乱了。
- 做一个分析,得花大量时间确认数据口径和来源。
说实话,这可能是很多技术团队正面对的困境。
过去几年,我们团队搭建过一家公司的数据治理体系。这个过程并不轻松,但总算是摸出了点门道。
今天,我就来聊聊数据治理里几个关键模块到底该怎么做。你可以看作是一份经验总结。
一、数据标准
开始之前,我问你个问题:你们公司统计销售额,财务说的和业务说的,是一回事吗?
听着是不是很熟?
很多时候,数据用不起来,问题就出在这第一步。大家嘴上说的同一个词,背后指的根本不是同一个数。
数据标准,说白了,就是让大家在说销售额、活跃用户这些词的时候,指的是同一个计算方法和数据来源。
我们当初是怎么做的?没搞复杂的,就三步。
第一步,先抓最重要的。
别想着一下子把公司所有数据都定上标准,那工程太大,容易做不下去。
我们就从业务和财务吵架最多的那几个指标入手,比如订单收入、有效客户。先把这几个关键术语的定义、计算规则定下来。
第二步,谁说了算?
光IT部门定没用,业务不认。我们拉了业务、财务、运营的同事一起开会,确保标准既符合业务需要,又具备技术可行性。
定下来的规则,发邮件,通过内部知识库向全员开放。光发布不够,还得针对关键用户进行沟通和培训。
第三步,怎么落地
这是最难的。我的办法是,新项目强制,老系统渐进。
所有新上的报表和系统,必须用这套新标准。已有的老系统,在改造的时候逐步对齐。
我还在大家常用的BI工具里,把这些标准化的指标直接做成可选的数据产品,用起来方便,大家自然就愿意用了。
简单来说,做数据标准,就是选准切入点,拉齐共识,再用工具和流程把它固化到日常工作中去。
二、元数据管理
元数据,就是描述数据的数据。它的主要作用是解决数据在哪里和数据是什么的问题。
根据使用对象的不同,元数据主要分为下面这三类:
说实话,我第一次接触这个概念也觉得虚。后来发现,只要做好两件事,价值立刻就出来了。
一是企业内部数据目录
它算是一个内部的数据搜索引擎,员工可以按主题或关键词查找所需的数据资产,并看到它是干嘛的、从哪里来、谁负责维护。
二是数据血缘分析
这词挺技术,但道理简单。就是能看清楚一个数据是怎么来的,经过了哪些加工。
报表数字一旦有问题,用这个功能能很快定位到出错的环节,特别好用。
三、主数据管理
你们公司有没有这种情况?跨系统报表中,同一个客户却显示着不同的名字和编码。财务系统里的A客户,在销售系统里可能变成了B客户。
这就是主数据乱了的典型表现。
主数据就是公司里那些最重要的基础信息,比如客户、供应商、产品、员工。它们需要在各个系统里保持一致。
怎么管呢?
1、制定规范
在所有系统里,指定一个系统作为某类主数据的唯一权威来源。比如,客户信息就以CRM系统为准,大家都要以它为标准。
还要统一主数据的编码规则、命名规范和关键属性(如客户分类)的定义。我当时和销售、财务一起,把常见的客户命名情况都讨论了一遍,形成了简单的规则手册。
2、建立流程
一个新客户信息,在权威系统里创建后,怎么自动同步到财务系统、客服系统?
可以写一些简单的接口和同步任务来实现,尽可能减少人工重复录入。
四、数据质量管理
数据质量,说白了,就是解决数据信任的问题。主要看几点:数据全不全(该有的有没有)、对不对(和现实一不一样)、以及在不同地方是否一致。
怎么提升呢?我们搭了个挺简单的监控体系,主要三块。
第一,把规则变成自动检查
我们和业务一起,把对核心数据的要求写成具体规则。像订单金额不能为负数这种规则。用工具定期自动跑这些检查。
第二,问题要有人管
检查出问题,系统会自动生成任务单,派给指定的数据负责人。他得去查原因、修复,然后反馈结果。整个过程线上跟踪,避免扯皮。
第三,要让大家看到变化
我们定期发质量报告,告诉大家主要问题解决了多少。看得见进步,团队才有动力持续做。
这个质量检查的流程,其实可以和FineDataLink这类数据治理工具的任务流结合起来,在数据同步加工的关键环节嵌入质量校验规则,提前发现问题,实现更主动的质量管控。
五、数据安全管理
最近我发现,很多团队管数据要么管得太松,要么管得太死。我的办法是:分类分级,区别对待。
1、分类
和业务一起,把数据分分类。
哪些是公开信息,哪些是内部用的,哪些涉及个人隐私,哪些是公司核心机密。
2、分级
在每一类里,再按敏感程度分等级。比如,公开、内部、敏感、高度敏感。
3、不同级别,不同管法
- 公开数据,大家随便看。
- 内部数据,员工登录就能用。
- 敏感数据,比如客户电话,就得严格审批,并且操作会被记录。
- 核心机密,那就只有极少数人能接触,审批更严。
这么做,安全管控就有了重点,不用一刀切。业务用数据方便了,安全风险也更可控。
还有一点我得提醒你,安全意识培训特别重要。很多时候出问题,是因为员工的不小心。可以定期用真实案例提醒大家,效果比发文件好。
六、数据资产管理
前面那些基础工作做到一定阶段,数据就开始像资产了。资产嘛,就得能盘点、能看见价值。
那具体怎么管呢?
1、资产盘点
就像固定资产盘点一样,我们需要弄清楚企业到底有哪些重要的数据资产,存在哪里,谁在管。
2、确权
给重要的数据资产明确管理责任方,就是数据的所有者、管理者、使用者。
3、估值
虽然很难算出数据资产具体多少钱,但可以从它用得多不多、支撑什么重要业务、如果没了损失多大这些角度,做个相对评估。
4、运营
建个数据资产门户,将治理好的、高质量的数据产品(如标准报表、分析模型、API服务)以目录的形式展示出来。业务部门可以自己查找、申请使用。让数据更容易被找到、被用起来。
回过头看,数据治理不是一个独立的项目,而是一项需要持续投入的基础工程。你可以先做好一块,让大家看到效果,再慢慢铺开。
希望这些具体的实践分享,能为你提供一些可行的参考。