《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(4)

简介: 《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(4)

《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3) https://developer.aliyun.com/article/1230882?groupCode=tech_library




四、 基于DataWorks实现指标工厂

DataWorks 数据建模支持数仓规划设计、制定并沉淀企业数据标准、维度建模、数据指标定义,通过使用DataWorks 数据建模,可以将建模设计产出的分层模型表物化到计算引擎中并进一步应用。基于DataWorks 数据建模功能,可以快速实现指标工厂概念中的原子指标和派生指标,以及表模型的定义和创建。


1. 数仓分层设计


OT域指标建模和IT 域一样,可以把数仓分为贴源层、公共层、应用层等。


image.png


2. 原子指标定义


这里实际上是定义在计算派生指标时原子指标的聚合方式,由于聚合方式是可枚举的,可以在这里把原子指标全部枚举定义出来。

image.png


3. 派生指标批量定义


通过批量选择原子指标、时间周期即可实现派生指标的批量定义,完成不同周期,不同聚合方式的派生指标定义。


image.png


4. 模型表定义

通过快速导入的方式,可以实现将上一步定义的不同统计周期的派生指标批量的导入至模型表中。


通过派生指标做公式计算得到衍生指标,在建模过程中没有标准的定义,在具体实施的时候可以通过一个前端来做公式的配置,公式存储在配置表中,在指标计算的时候读取配置表中的公式信息,然后关联获取依赖的派生指标值,再做批量的计算即可得到衍生指标结果值。





《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(5) https://developer.aliyun.com/article/1230878?groupCode=tech_library

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
SQL 数据采集 运维
从数据到价值,DataOps精益数据运营概述
DevOps大家可能比较熟悉,但对于概念相近的DataOps大家可能还不清楚。简单来说,如果DevOps是更快交付软件的一种理念,那DataOps就是"更快交付高质量数据"的一种理念。 我们星轨工具团队过去围绕数据链路,沉淀了很多工具和组件,提升了我们数据域项目交付的效率和质量,这和DataOps提倡的聚焦数据链路,从全局提效很匹配。因此我们结合DataOps理念做了一些探索和实践,本文会详细给大家介绍下DataOps理念。
3397 2
从数据到价值,DataOps精益数据运营概述
|
3月前
|
运维 Cloud Native Serverless
【微服务与云原生架构】Serverless架构、FaaS/BaaS、核心原理、优缺点
本文系统梳理Serverless架构知识体系,以云原生演进为脉络,厘清其与微服务的边界及协同关系;深度解析FaaS+BaaS组成、事件驱动原理、冷启动机制、自动弹性与按量计费模型,并客观评述优劣势与适用场景,助力开发者构建可落地的无服务器应用。
|
SQL 自然语言处理 关系型数据库
【Hive】函数 concat 、concat_ws 、concat_group 的区别
【Hive】函数 concat 、concat_ws 、concat_group 的区别
3143 0
|
11月前
|
存储 人工智能 数据处理
对话王峰:Apache Flink 在 AI 时代的“剑锋”所向
Flink 2.0 架构升级实现存算分离,迈向彻底云原生化,支持更大规模状态管理、提升资源效率、增强容灾能力。通过流批一体与 AI 场景融合,推动实时计算向智能化演进。生态项目如 Paimon、Fluss 和 Flink CDC 构建湖流一体架构,实现分钟级时效性与低成本平衡。未来,Flink 将深化 AI Agents 框架,引领事件驱动的智能数据处理新方向。
1063 6
|
SQL 存储 NoSQL
Flink x Paimon 在抖音集团生活服务的落地实践
本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享,聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分:背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon,解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题,显著提升了开发运维效率、节省资源并增强了任务稳定性。同时,文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用,并介绍了其核心技术优化与未来规划。
1331 10
Flink x Paimon 在抖音集团生活服务的落地实践
|
Prometheus 监控 Cloud Native
prometheus学习笔记之Grafana安装与配置
prometheus学习笔记之Grafana安装与配置
3826 2
|
数据建模 物联网 BI
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)
485 0
|
数据建模 Serverless 数据格式
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)
《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3)
488 0
|
JSON 前端开发 Java
Spring Boot 学习研究笔记(十五) @RequestMapping 注解及参数接收、校验详解(2)
Spring Boot 学习研究笔记(十五) @RequestMapping 注解及参数接收、校验详解
2045 0
蓝桥杯之单片机学习(二十五)——温度记录器(附题目和完整代码)
蓝桥杯之单片机学习(二十五)——温度记录器(附题目和完整代码)
612 0
蓝桥杯之单片机学习(二十五)——温度记录器(附题目和完整代码)