《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)

简介: 《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)

《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1) https://developer.aliyun.com/article/1230885?groupCode=tech_library



二、 工业OT域场景描述


在工业业务场景下,在生产产线上存在大量的IOT 设备的测点数据,和IT 域数据相比,这类数据量很大,但格式比较统一,核心字段包括设备ID、时间戳、测点值、数据类型几个,数据类型可以分为两种,第一类为模拟量数据,例如设备的温度、电流、电压、喂料量等,这类数据为一个连续值,第二类数据为开关量数据,当设备开机时上报1 信号,设备关机时上报0 信号。


对于这些原始IOT 数据,存在大量指标计算的需求,相比于传统的维度建模,这类指标计算模式相对比较固定,指标大致可以分为单点位测点值的聚合计算和多点位测点值的公式计算两种,对于聚合计算就是统计一段周期内的最大、最小、平均值之类的指标。公式计算带具体的业务含义,例如电流*电压*运行时长等于电量消耗,喂料量*产量系数/运行时长等于台时产量。



1. 工业OT 域场景特点


从前面的描述可以看出,在工业OT 数据域的特点是指标的量很大,但是计算方式相对比较简单,且可以枚举或者归纳。


工业OT 数据域下,一个车间往往就有上万个设备点位,每个点位的数据都需要做聚合计算,且存在大量的通过类似电流电压运行时长等于电量消耗这种公式计算的指标,因此做成千上万个指标计算是常态。参考维度建模中的指标分类,可以把原始的测点值定义为原子指标,将周期的聚合计算结果定义为派生指标,带有具体业务含义的公式计算得到的指标定义为衍生指标。


分析可以发现,这里的原子指标虽然量很大,但是其格式是固定的。派生指标的计算可枚举,都是最大、最小、平均值之类的周期聚合计算。而衍生指标,虽然计算公式不可枚举,但是其计算形式都是一样的,基本都是通过一个四则运算的公式进行计算。


2. 工业OT 域指标计算现状


对于工业OT 域的指标分类和计算,目前行业内有一些各自的实现。例如某公司的ETL 过程将指标计算明确分为两步,第一步为单点位的聚合计算,将原始点位数据的周期内最大、最小、平均值、差值等聚合指标定义为一次指标,第二步为多点位的公式融合计算,将基于一次指标进行公式计算后的结果定义为二次参数。阿里的工业数据应用平台将指标定义为数据转换和数据统计两类,数据转换可以对原始的点位数据进行各种清洗转换操作,数据统计可以设置统计周期,计算统计周期内的数据统计量(包括聚合计算和公式计算)。


可以看出对于OT 域的指标计算需求是比较清晰的,各自的实现也有相似之处,但相比于标准的维度建模,现在并没有一个很统一定义,以及实现方案。例如上面的某公司虽然将指标比较清晰的分成了两类,但在最后计算完成后所有的指标都存放在同一张表中,并没有模型分层的概念,同时整个过程基本不涉及数据治理的动作;阿里目前的工业数据应用平台能力比较强,能实现各种数据转换和计算,且把计算动作分成了转换和统计,但同样的并没有做指标的分层定义,从建模的角度来看是稍显混乱的。




《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3) https://developer.aliyun.com/article/1230882?groupCode=tech_library

相关文章
|
数据采集 存储 分布式计算
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
28807 2
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
|
11月前
|
机器学习/深度学习 存储 Prometheus
机器学习模型监控警报系统设计:Prometheus+Evidently 实战教程
本系统采用Prometheus与Evidently双引擎架构,实现从数据采集、智能分析到精准告警的全流程监控。通过时序数据与模型分析深度集成,支持数据漂移检测、性能评估及根因分析,结合Grafana可视化与Alertmanager智能路由,构建高可用、低延迟的监控体系,显著提升异常检测能力与系统稳定性。
577 9
|
监控 搜索推荐 安全
探究亚马逊详情API接口:开发与应用
在数字化时代,亚马逊作为全球领先的电商平台,为商家和消费者提供了丰富的商品信息和便捷的购物体验。本文深入探讨了亚马逊详情API接口的获取与运用,帮助开发者和商家实时监控商品数据、分析市场趋势、优化价格策略、分析竞争对手、构建推荐系统及自动化营销工具,从而在竞争中占据优势。文章还提供了Python调用示例和注意事项,确保API使用的安全与高效。
538 3
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
665 0
|
数据建模 数据挖掘 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(3)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(3)
653 0
|
SQL 存储 数据采集
DataWorks数据建模 - 一揽子数据模型管理解决方案 | 《一站式大数据开发治理DataWorks使用宝典》
在当下的商业环境中,正确的数据治理策略对于数据增值是非常重要的。据统计,企业的数据一直都在以每年50%的速度增长,因此企业数据治理与整合的难度就不断加大了。 DataWorks一直以来都致力于成为用户更方便、更快捷地进行数据开发与数据治理的好帮手。此次发布的数据建模,是对已有数据治理领域能力的补齐,为用户带来了在数据开发前,实施事前治理的能力。
3093 0
DataWorks数据建模 - 一揽子数据模型管理解决方案 | 《一站式大数据开发治理DataWorks使用宝典》
|
存储 架构师 搜索推荐
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
977 0
|
数据建模 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
598 0
|
数据建模
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
716 0
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(5)
|
数据建模 Serverless 数据格式
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)
460 0