大数据平台治理——运营的角度看数仓

前言

三分靠技术，七分靠管理，其实一直就是技术岗位的现状，事实上在一个完整的互联网产业结构中，除了本身的软件性能和软件设计的优雅追求，还有着业务的持续运营以及背后的商业模式的运作。分析师的工作更多的就是指导业务的运营以及商业上成本的考量，以便为进一步的决策提供数据参考，本文就从一个数据分析师的角度去聊一下数仓的治理。

分析框架

开局一张图

我们说一个数仓的好与坏不是单纯的某个地方的好与坏，而是通过从左看右看上看下看达到一个优化局部最优到整体最优的解决方案。我们需要的一个结果就是数仓的健康，当然，健康的定义又可以有很多诠释，比如说控制野蛮生长、高时效、资产覆盖度厚实、模型规范、高质量等考量。基于各个方面的考量，我对数仓需要关注的点做了一个梳理，从这些点出发，我们便可以去建立考核的运营指标。从大类的划分主要分到两块，一块就是资源成本模型，因为本身成本就是钱嘛，另一块的话就是数仓的规范性，因为数仓的规范性衡量的其实就是数仓好用的一个方向，毕竟这个才是本身数仓的价值所在。

成本模型指标化

数仓的成本模型其实分为两大块，一块就是我们的存储，另一块就是计算了，我们关注的就是存储到底有没有问题，或者说计算是不是有问题，怎样去衡量这两块健康与否呢，一般是三部曲——技术参数量化+资源消耗成本化+成本指标化，下面我们分别进行说明。

大数据平台的成本主要是存储成本和计算成本来衡量。下面从这两块进行剖析。

存储成本化

衡量存储的技术参数

衡量存储的参数项主要是空间+格式+压缩算法，如下表格：

存储的目标

存储少+备份少+压缩比高+更省钱便是存储的目标了，为了达成目标我们其实是通过不同手段去实施的，可想到的办法可以一张表格：

存储成本化

根据存储的目标，存储成本化，我们一般是按照计算和存储总成本进行分摊，成本=(存储r1+计算r2)，然后进行定价，比如1TB=1块钱,其中1块钱按照总成本进行换算分摊，因为还会分摊总的包括机柜，带宽的成本，所以成本计算并不代表实实在在的采购成本，但是会有对应的关系。

存储成本指标

指标的构建可以比较灵活去调整，目标是有效指导且可落地，可衡量成本的参考指标如下：

资源成本化

衡量资源的技术参数

衡量计算的主要参数是资源占用+计算耗时因为资源的计算平台是比较难容忍高峰期的占用，且和调度频率都有关系，所以一般还会考虑调度成本、如下表格：

计算目标

对于资源的优化来说，其实目标就是达到计算性能的优化，但是计算的场景其实是相对复杂的，针对整个平台来说，实际的场景是保障高峰时段的资源使用就可以了，而且是关注高优先级的作业，低峰的话就没关系了，一般平台侧识别出一些问题场景，针对问题比较大的场景去进行优化，同时优化侧的办法其实是由平台和Owner一起出方案进行落地。

资源成本指标

指标的构建可以比较灵活去调整，目标是更多的发现问题，可衡量成本的参考指标如下：

数仓规范

前面提到，数仓的规范其实是衡量数仓好用不好用的一项参考，要想衡量一个数仓好和不好，我们首要的就是给好和不好界定标准、然后根据这个标准去进行匹配，这样我们就可以对健康程度进行量化，从而产生我们的运营指标。所以对于数仓来说，也是三部曲:——定义标准+标准化度量+模型健康度指标。数仓的衡量主要是在模型规范和层次规范上进行衡量，下面逐一说明。

数仓层次化规范

数据的划分

数据的划分其实也就是我们所谓的顶层设计，划分的方式本身随着业务的规模，组织结构以及经济体的要求不同而不一样，但是不管出于什么考虑，我们总是希望我们的数据在整个划分层次上是可以找到对应关系的，不管是传统的3层也好，5层也好，甚至7层模型也好，我个人观点可以参考我们的linux对目录的划分，不管世界怎么复杂，都需要有自己的归属。

需要了解的是，即使是数据的架构，是紧密跟上时代的变化的，传统的ODS->DWD->DWS->ADM的场景在企业发展的过程中不断的经受着新挑战，首要的其实就是软件系统的改变，下一步就是数据体系的改变了，所以数仓规范的过程其实是有参考现代容器化部署的思想，引入租户隔离、单元板块架构，加上原有的项目划分和数仓分层便是现代的架构模式了。

层次化规范的考量

我们的考量标准，在划分的基础之上对资产都有挂靠，这在一片混乱的资产治理中便是迈向了第一步。

层次划分下的指标

模型规范

模型规范主要是从模型定义规范和数据质量上面来衡量，定义规范是保障使用方好用而质量保证是保证数据是对的，这个是对数据最base的要求。

模型定义的规范

表的定义一般是按照层级规范会做表名上的约束，不符合规范的就是异常情况了，规范命名的建议是单独对不同层次去做规范，因为在ods+dwd+dws+adm表达的信息其实不一样，我们的目标是期望在命名上就找到归类。剩下的便是基础的对表使用了。

模型定义规范性指标

后记

从各种资产考量中定义问题，到指标化其实是整个一个数据运营分析的一个思路，此时的数仓其实是需要当作一个业务主体来看待——基于数仓的元数据去看数仓，从指标体系的角度去看到整个数仓的资产状态，找出优化数仓的最短路径，便是达到了我们的目标。