《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)

简介: 《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)

《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2) https://developer.aliyun.com/article/1230884?groupCode=tech_library



三、 指标工厂实现思路


由于在OT 数据域下,指标的特点是数量特别大,但是其计算方式可枚举或者可归纳,因此可以在现有方案的基础上,参考维度建模定义标准的建模分层,同时设计批量指标定义和计算的实现方案,实现批量的指标的定义及加工计算。


1. 指标工厂实现思路


指标工厂建设思路是,OT 域建模分层和传统IT 域维度建模一致,但是设计开发过程有比较大的差异,不需要对单个指标做复杂的设计,可以通过工厂化配置的方式批量定义和计算。

image.png

1) 对原始采集定位的数据定义清洗转换规则,得到基础的原子指标。


2) 定义原子指标计算方式(聚合函数),计算方式可枚举,通过周期聚合计算得到派生指标。


3) 自定义衍生指标计算公式,计算公式只涉及派生指标之间的公式计算,不涉及其他约束条件。


通过这种设计方式,通过几个计算任务即可完成原子指标、派生指标、衍生指标的批量计算,当业务场景需要增加指标时,只需要增加对应的指标计算公式即可。


2. 指标工厂与维度建模的关系


通过指标工厂的思路,可以在OT 数据域下快速的定义及生成指标,和传统的维度建模概念类似,分为原子指标、派生指标、衍生指标等。


区别在于传统IT 数据域下,数据源的形式(数据源来自不同业务表)及指标计算方式(包括统计周期、修饰词、维度、计算公式等)比较难统一,因此基本上需要对每一个指标做建模设计。而OT 数据域虽然数据源量特别大,例如一个车间可能就有上万个点位的数据,但是其数据格式是一样的,可以放在一个表中用ID 区分不同点位数据,指标计算的方式也是比较统一的。


image.png


image.png


维度建模示例


如上图所示,维度建模需要对每一个指标做比较详细的设计,且不同的指标计算大多是需要在不同的任务中去计算。而OT 域下基于指标工厂的指标设计和计算会简化很多,通过批量定义原子指标的统计类型,以及派生指标的计算公式,用几个任务即可完成所有指标的计算。


image.png

IT域建模与OT域建模差异





《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(4) https://developer.aliyun.com/article/1230881?groupCode=tech_library


相关文章
|
12月前
|
数据采集 DataWorks 搜索推荐
阿里云DataWorks深度评测:实战视角下的全方位解析
在数字化转型的大潮中,高效的数据处理与分析成为企业竞争的关键。本文深入评测阿里云DataWorks,从用户画像分析最佳实践、产品体验、与竞品对比及Data Studio公测体验等多角度,全面解析其功能优势与优化空间,为企业提供宝贵参考。
513 13
|
安全 UED 开发者
鸿蒙开发:沉浸式效果实现
沉浸式效果实现后,一定要注意安全区域的内容避让,防止内容延伸后被导航条或者状态栏遮挡,具体是选择安全区域或者窗口管理方式,按照需求进行处理,如果仅仅是某个页面,直接安全区域即可。
371 0
鸿蒙开发:沉浸式效果实现
|
算法 安全 Java
深入解析ECC(椭圆曲线密码学)加解密算法
深入解析ECC(椭圆曲线密码学)加解密算法
深入解析ECC(椭圆曲线密码学)加解密算法
|
分布式计算 Java Hadoop
HDFS 集群读写压测
在虚拟机中配置集群时,需设置每台服务器网络为百兆,以模拟实际网络环境。使用Hadoop的`TestDFSIO`进行HDFS性能测试,包括写入和读取数据。写测试中,创建11个128MB文件,平均写入速度为3.86 MB/sec,总处理数据量1408 MB,测试时间137.46秒。资源分配合理,传输速度超过单台服务器理论最大值12.5M/s,说明网络资源已充分利用。读测试主要依赖硬盘传输速率,速度快。测试完成后使用`TestDFSIO -clean`删除测试数据。
522 2
|
负载均衡 安全 应用服务中间件
揭秘反向代理:探索其神秘之处
揭秘反向代理:探索其神秘之处
|
SQL 分布式计算 监控
大数据时代的五大利剑
大数据时代的五大利剑
787 12
|
数据建模 物联网 BI
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)
358 0
|
存储 DataWorks 数据建模
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(4)
354 0
|
Unix Linux 网络安全
林帆:Docker运行GUI软件的方法
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 继上周的“Kubernetes v1.0特性解析”分享之后,本周我们邀请到ThoughtWorks咨询师林帆为大家带来主题为“Docker运行GUI软件的方法”的分享。
3823 0
|
SQL 运维 数据建模
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1)
500 0

热门文章

最新文章