《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1) https://developer.aliyun.com/article/1230885?groupCode=tech_library
二、 工业OT域场景描述
在工业业务场景下,在生产产线上存在大量的IOT 设备的测点数据,和IT 域数据相比,这类数据量很大,但格式比较统一,核心字段包括设备ID、时间戳、测点值、数据类型几个,数据类型可以分为两种,第一类为模拟量数据,例如设备的温度、电流、电压、喂料量等,这类数据为一个连续值,第二类数据为开关量数据,当设备开机时上报1 信号,设备关机时上报0 信号。
对于这些原始IOT 数据,存在大量指标计算的需求,相比于传统的维度建模,这类指标计算模式相对比较固定,指标大致可以分为单点位测点值的聚合计算和多点位测点值的公式计算两种,对于聚合计算就是统计一段周期内的最大、最小、平均值之类的指标。公式计算带具体的业务含义,例如电流*电压*运行时长等于电量消耗,喂料量*产量系数/运行时长等于台时产量。
1. 工业OT 域场景特点
从前面的描述可以看出,在工业OT 数据域的特点是指标的量很大,但是计算方式相对比较简单,且可以枚举或者归纳。
工业OT 数据域下,一个车间往往就有上万个设备点位,每个点位的数据都需要做聚合计算,且存在大量的通过类似电流电压运行时长等于电量消耗这种公式计算的指标,因此做成千上万个指标计算是常态。参考维度建模中的指标分类,可以把原始的测点值定义为原子指标,将周期的聚合计算结果定义为派生指标,带有具体业务含义的公式计算得到的指标定义为衍生指标。
分析可以发现,这里的原子指标虽然量很大,但是其格式是固定的。派生指标的计算可枚举,都是最大、最小、平均值之类的周期聚合计算。而衍生指标,虽然计算公式不可枚举,但是其计算形式都是一样的,基本都是通过一个四则运算的公式进行计算。
2. 工业OT 域指标计算现状
对于工业OT 域的指标分类和计算,目前行业内有一些各自的实现。例如某公司的ETL 过程将指标计算明确分为两步,第一步为单点位的聚合计算,将原始点位数据的周期内最大、最小、平均值、差值等聚合指标定义为一次指标,第二步为多点位的公式融合计算,将基于一次指标进行公式计算后的结果定义为二次参数。阿里的工业数据应用平台将指标定义为数据转换和数据统计两类,数据转换可以对原始的点位数据进行各种清洗转换操作,数据统计可以设置统计周期,计算统计周期内的数据统计量(包括聚合计算和公式计算)。
可以看出对于OT 域的指标计算需求是比较清晰的,各自的实现也有相似之处,但相比于标准的维度建模,现在并没有一个很统一定义,以及实现方案。例如上面的某公司虽然将指标比较清晰的分成了两类,但在最后计算完成后所有的指标都存放在同一张表中,并没有模型分层的概念,同时整个过程基本不涉及数据治理的动作;阿里目前的工业数据应用平台能力比较强,能实现各种数据转换和计算,且把计算动作分成了转换和统计,但同样的并没有做指标的分层定义,从建模的角度来看是稍显混乱的。
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3) https://developer.aliyun.com/article/1230882?groupCode=tech_library