《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)

简介: 《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)

《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2) https://developer.aliyun.com/article/1230884?groupCode=tech_library



三、 指标工厂实现思路


由于在OT 数据域下,指标的特点是数量特别大,但是其计算方式可枚举或者可归纳,因此可以在现有方案的基础上,参考维度建模定义标准的建模分层,同时设计批量指标定义和计算的实现方案,实现批量的指标的定义及加工计算。


1. 指标工厂实现思路


指标工厂建设思路是,OT 域建模分层和传统IT 域维度建模一致,但是设计开发过程有比较大的差异,不需要对单个指标做复杂的设计,可以通过工厂化配置的方式批量定义和计算。

image.png

1) 对原始采集定位的数据定义清洗转换规则,得到基础的原子指标。


2) 定义原子指标计算方式(聚合函数),计算方式可枚举,通过周期聚合计算得到派生指标。


3) 自定义衍生指标计算公式,计算公式只涉及派生指标之间的公式计算,不涉及其他约束条件。


通过这种设计方式,通过几个计算任务即可完成原子指标、派生指标、衍生指标的批量计算,当业务场景需要增加指标时,只需要增加对应的指标计算公式即可。


2. 指标工厂与维度建模的关系


通过指标工厂的思路,可以在OT 数据域下快速的定义及生成指标,和传统的维度建模概念类似,分为原子指标、派生指标、衍生指标等。


区别在于传统IT 数据域下,数据源的形式(数据源来自不同业务表)及指标计算方式(包括统计周期、修饰词、维度、计算公式等)比较难统一,因此基本上需要对每一个指标做建模设计。而OT 数据域虽然数据源量特别大,例如一个车间可能就有上万个点位的数据,但是其数据格式是一样的,可以放在一个表中用ID 区分不同点位数据,指标计算的方式也是比较统一的。


image.png


image.png


维度建模示例


如上图所示,维度建模需要对每一个指标做比较详细的设计,且不同的指标计算大多是需要在不同的任务中去计算。而OT 域下基于指标工厂的指标设计和计算会简化很多,通过批量定义原子指标的统计类型,以及派生指标的计算公式,用几个任务即可完成所有指标的计算。


image.png

IT域建模与OT域建模差异





《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(4) https://developer.aliyun.com/article/1230881?groupCode=tech_library


相关文章
|
消息中间件 设计模式 SQL
从Lambda架构到Kappa架构再到?浅谈未来数仓架构设计~
Linked大佬Jay Kreps曾发表过一篇博客,简单阐述了他对数据仓库架构设计的一些想法。从Lambda架构的缺点到提出基于实时数据流的Kappa架构。本文将在Kappa架构基础上,进一步谈数仓架构设计。 现代实时数仓和重要性已经越来越高,离线数仓积累的历史数据又很难被抛弃。采用新型的数仓架构,融合实时数仓和离线数仓的优点是一个值得讨论的话题。本文结合ECS的设计模式,探讨了如何设计了一套全新的混合数仓架构。
18360 0
|
10月前
|
存储 安全 固态存储
基于C#实现的支持文件传输的Socket聊天室
基于C#实现的支持文件传输的Socket聊天室
496 5
|
10月前
|
人工智能 前端开发 Java
Java 转 AI 不用慌!3 周求职打卡表,帮你按天推进、高效拿 offer
三周(21天)AI应用工程师转型打卡计划,涵盖Python基础、Prompt工程、实战项目与面试准备,每日明确任务目标,助力系统学习与进度追踪。
713 7
|
11月前
|
存储 数据挖掘 大数据
基于python大数据的用户行为数据分析系统
本系统基于Python大数据技术,深入研究用户行为数据分析,结合Pandas、NumPy等工具提升数据处理效率,利用B/S架构与MySQL数据库实现高效存储与访问。研究涵盖技术背景、学术与商业意义、国内外研究现状及PyCharm、Python语言等关键技术,助力企业精准营销与产品优化,具有广泛的应用前景与社会价值。
|
数据采集 人工智能 数据管理
12款开源数据资产(元数据)管理平台选型分析(二)
12款开源数据资产(元数据)管理平台选型分析(二)
4442 0
|
数据采集 DataWorks 搜索推荐
阿里云DataWorks深度评测:实战视角下的全方位解析
在数字化转型的大潮中,高效的数据处理与分析成为企业竞争的关键。本文深入评测阿里云DataWorks,从用户画像分析最佳实践、产品体验、与竞品对比及Data Studio公测体验等多角度,全面解析其功能优势与优化空间,为企业提供宝贵参考。
820 13
|
SQL 分布式计算 Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化,内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验!
1128 3
阿里云 EMR Serverless Spark 版正式开启商业化
|
数据建模 物联网 BI
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)
485 0
|
C++ 索引 Windows
调试实战——程序CPU占用率飙升,你知道如何快速定位吗?
程序CPU占用率飙升,你知道如何快速定位吗?