《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)

简介: 《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)

《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1) https://developer.aliyun.com/article/1230885?groupCode=tech_library



二、 工业OT域场景描述


在工业业务场景下,在生产产线上存在大量的IOT 设备的测点数据,和IT 域数据相比,这类数据量很大,但格式比较统一,核心字段包括设备ID、时间戳、测点值、数据类型几个,数据类型可以分为两种,第一类为模拟量数据,例如设备的温度、电流、电压、喂料量等,这类数据为一个连续值,第二类数据为开关量数据,当设备开机时上报1 信号,设备关机时上报0 信号。


对于这些原始IOT 数据,存在大量指标计算的需求,相比于传统的维度建模,这类指标计算模式相对比较固定,指标大致可以分为单点位测点值的聚合计算和多点位测点值的公式计算两种,对于聚合计算就是统计一段周期内的最大、最小、平均值之类的指标。公式计算带具体的业务含义,例如电流*电压*运行时长等于电量消耗,喂料量*产量系数/运行时长等于台时产量。



1. 工业OT 域场景特点


从前面的描述可以看出,在工业OT 数据域的特点是指标的量很大,但是计算方式相对比较简单,且可以枚举或者归纳。


工业OT 数据域下,一个车间往往就有上万个设备点位,每个点位的数据都需要做聚合计算,且存在大量的通过类似电流电压运行时长等于电量消耗这种公式计算的指标,因此做成千上万个指标计算是常态。参考维度建模中的指标分类,可以把原始的测点值定义为原子指标,将周期的聚合计算结果定义为派生指标,带有具体业务含义的公式计算得到的指标定义为衍生指标。


分析可以发现,这里的原子指标虽然量很大,但是其格式是固定的。派生指标的计算可枚举,都是最大、最小、平均值之类的周期聚合计算。而衍生指标,虽然计算公式不可枚举,但是其计算形式都是一样的,基本都是通过一个四则运算的公式进行计算。


2. 工业OT 域指标计算现状


对于工业OT 域的指标分类和计算,目前行业内有一些各自的实现。例如某公司的ETL 过程将指标计算明确分为两步,第一步为单点位的聚合计算,将原始点位数据的周期内最大、最小、平均值、差值等聚合指标定义为一次指标,第二步为多点位的公式融合计算,将基于一次指标进行公式计算后的结果定义为二次参数。阿里的工业数据应用平台将指标定义为数据转换和数据统计两类,数据转换可以对原始的点位数据进行各种清洗转换操作,数据统计可以设置统计周期,计算统计周期内的数据统计量(包括聚合计算和公式计算)。


可以看出对于OT 域的指标计算需求是比较清晰的,各自的实现也有相似之处,但相比于标准的维度建模,现在并没有一个很统一定义,以及实现方案。例如上面的某公司虽然将指标比较清晰的分成了两类,但在最后计算完成后所有的指标都存放在同一张表中,并没有模型分层的概念,同时整个过程基本不涉及数据治理的动作;阿里目前的工业数据应用平台能力比较强,能实现各种数据转换和计算,且把计算动作分成了转换和统计,但同样的并没有做指标的分层定义,从建模的角度来看是稍显混乱的。




《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3) https://developer.aliyun.com/article/1230882?groupCode=tech_library

相关文章
|
数据采集 存储 分布式计算
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
27958 2
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
|
弹性计算 缓存 Ubuntu
Linux 发行版添加软件源
Linux系统的软件包通常存放在软件源(Repository)中,添加软件源之后,您可使用Linux系统提供的包管理工具查找、安装或更新软件源中包含的软件。本文以阿里云软件源为例,分别介绍在不同Linux发行版本上添加软件源的操作步骤。
9866 0
Linux 发行版添加软件源
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
存储 SQL NoSQL
NoSQL数据库
NoSQL数据库
441 4
|
数据建模 Serverless 数据格式
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)
359 0
|
中间件 数据挖掘 API
ERP系统与社交媒体集成:提升企业互动与品牌影响力
【7月更文挑战第29天】 ERP系统与社交媒体集成:提升企业互动与品牌影响力
246 0
|
分布式计算 Java Hadoop
HDFS 集群读写压测
在虚拟机中配置集群时,需设置每台服务器网络为百兆,以模拟实际网络环境。使用Hadoop的`TestDFSIO`进行HDFS性能测试,包括写入和读取数据。写测试中,创建11个128MB文件,平均写入速度为3.86 MB/sec,总处理数据量1408 MB,测试时间137.46秒。资源分配合理,传输速度超过单台服务器理论最大值12.5M/s,说明网络资源已充分利用。读测试主要依赖硬盘传输速率,速度快。测试完成后使用`TestDFSIO -clean`删除测试数据。
522 2
|
SQL 运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1)
500 0
|
存储 架构师 搜索推荐
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
786 0
|
数据建模 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(4)
512 0

热门文章

最新文章