这是彭文华的第133篇原创
群里有人问:“领导让建主数据,我不会咋弄啊?”
哎呦,这是个懂行的好领导!给群友的领导点个赞!我当年可就没这么幸运了,有个领导啥也不懂,让解决商品库的问题,给我多少时间呢?1个月!我是怎么说都没用啊,领导说他做过,两周就搞定了!我一口老血喷到三米远,用尽浑身解数协调各方资源,亲自上手,快整吐了都弄不完。唉,都是一把辛酸泪啊。
主数据其实说难也不难,但是说难也极难。因为主数据压根就不是一个一次性的活,它是持续进行的事情,有点像会计记账,得不停的完善。一旦停下不管,就会乱掉。
“主”要的数据
没接触过主数据(Master Data)的人看到这个词的第一反应就是:这玩意是个啥?按照DAMA-DABOK里说的:
主数据是关于业务实体的数据,这些实体为业务交易提供关联环境。
我发现这些概念都有一个共同点,就是都不说人话。其实主数据理解起来非常简单,比如你家记账,谁,在那个店里,买了什么东西,一共多少钱。这句话里所有非数值的,都是主数据,买东西的人、卖东西的店、产生交易的商品等等都是主数据。所以主数据就是ER图里的那个实体对应的数据。但是没玩过数据的人是比较难以快速理解的,所以我给非数据行业的人介绍的时候统一按“主要的数据”来解释。
主数据这个事情整理起来非常费劲。这么跟你说吧,贝壳的“楼盘字典”,就是一个主数据,建设了多久呢?08年开始的,到现在持续在建,最多的一年有500多号人同时在干,到17年就花了超过4.5亿的钱了。如果你玩过ERP,特别是SAP,或者infomatica这种数据老厂,就会知道他们是有一个专门的MDM(Masert Data Management)子系统或者模块来专门管理主数据的。
主数据建设路径
所有ERP项目建设都要建立主数据。所以在传统IT建设领域,主数据依然占据着很核心的一块内容。另外,各大部委也同样有类似的主数据系统,比如教育部的学校管理系统,全国所有的学校都在这个系统里管着,每个学校的类型、级别、名称想要调整,都需要走很长的审批流程。
所以建设主数据的第一步,跟你刚看到“主数据”三个字时的感觉一样,是你得知道啥是我们需要管理的主数据,也就是识别主数据了。不同业务的主数据是不一样的,电商的主数据是用户、商家、商品等;ERP的主数据是供应商、物料、客户等。
圈定主数据范围之后,要干什么呢?按照项目管理的思路,得先做规划。所以第二步是规划与设计了。各个主数据怎么来、怎么管、采用哪个标准等等,都得定义好。一般的逻辑是按照国际标准、国家标准、行业标准、地方标准、团体标准、企业标准这个顺序。
之后就是第三步,开始进行主数据建模了。表、字段、约束规则、编码规则、与其他事实的关系等等。这些定好了,主数据的大致模样就有了。前三步都还是准备工作,解决的是“主数据是个啥”的问题,所以可以合并到一个大阶段中。
接下来就得开始整理主数据了。整理的过程又可以分为两小步:数据采集和数据清洗整理(质量控制)。
所以第四步数据采集就是按照规划设计里整理好的数据从哪来的信息,从不同的系统甚至是手填的记录中通过各种手段采集过来。采集的时候必须要注明各种原始信息和填报人,因为这些数据质量堪忧,有任何问题得随时找他们确定清楚。比如贝壳的“楼盘字典”,是专门组件了一个团队去扫楼,然后把扫楼的信息填到系统里的。
第五步数据清洗就是把上面质量堪忧的数据给弄干净,然后按照统一的编码规则给每个唯一的主数据编上合法的代码。这个工作是最恶心的,也是最耗费时间的,我干这种肉眼雷达的事情可是干了不少了。
第四五步解决的是主数据怎么来的问题,第六步就是解决主数据怎么用了。一般来说就是放在主数据管理系统里就行了,其他系统直接对接就OK了。不过像政府等行政单位,也会进行数据公开或者半公开的发布。比如国家标准地址代码库,我就建议各位去国家民政局官网获取,每个月都更新,最细到街道,而且还有增量和全量两种模式,对数据团队非常友好,必须点赞。
最后一步就是维护了。因为主数据这玩意,实际上是就是一个缓慢变化维。刚才说的国家行政区划代码库,不就是这样么?对于某个地区来说,名称或者代码发生变化是及其偶然的事情,但是对于整个国家来说,发生变化就是必然的。而主数据发生变化,会导致后续一系列的影响,所以得有一个流程去管控这些主数据的变化。
七步建设流程
其实就是上面建设思路的总结。四大步,七小步,四大步分别是:
- 设计与建模阶段,解答“啥是主数据?”
- 数据处理阶段,解答“主数据从哪来?”
- 数据应用分发阶段,解答“怎么用的?”
- 数据维护阶段,解答“怎么保证一直能用?”
七小步分别是:
- 主数据识别,圈定并明确当前业务所有主数据;
- 规划与设计,规划管理标准、流程等内容;
- 主数据建模,设计表、字段、编码规则、约束规则等内容;
- 数据采集,通过各种手段采集主数据的数据;
- 数据清洗,通过各种手段把数据变干净,并赋上合法编码;
- 主数据应用,通过各种手段让所有业务都应用上这份主数据;
- 主数据维护,不断的维护,确保主数据的干净和可用性。
主数据的建设工具
其实就是上面几大步骤所用到的excel、word模板了。下载下来照着抄就行。主数据的活不难做,难的就是处理数据,太恶心了!
哦对了,主数据这玩意,在数据中台领域改了个高大上的名字,叫做“OneID”,嘿嘿,其实就是一回事。