《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)

简介: 《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(3)

《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2) https://developer.aliyun.com/article/1230832?groupCode=tech_library



四、 指标需求确认


参考业务流程调研结果和总线矩阵,确定出可以产出的指标以及指标衍生维度。比如,对于汽车生产流程下的各个动作步骤可以产生的一些指标如下:

image.png

业务动作下产生的指标示例


1. 规范制定


1) 命名规范


在进行模型设计之前,需要约定好数仓各个层级表的命名规范。一方面统一的规范命名可以帮助我们提高开发效率,见名知义;一方面可以避免重复开发,减少资源浪费。


常见的一个表的命名要结合所在数仓层级、涉及到的业务模块、业务动作过程、以及更新方式和时间周期组合生成。在此项目中我们用到的命名规则如下:

image.png

表命名规范


2) 更新规范


更新分为全量更新和增量更新。一般来说,在离线计算采用每天新增一个分区,将当天新更新的数据写入该分区中。考虑到此客户的资源较建行和数据量较大,我们决定采用增量更新写入,再在下游用全量合并成当天全量表的方式来存储,这样可以节省存储资源,缩短数据同步时间。


3) 度量标准


为指标制定统一的度量,避免因为度量体系不一致导致后期数据质量问题,为使用者带来困扰。此项目中涉及到的实体与度量的关系如下:

image.png

实体与度量关系


4) 词典


词典与命名规范和度量息息相关,在描述统一实体时统一规范我们的措辞,可以帮助我们提升沟通效率。

image.png

词典




《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4) https://developer.aliyun.com/article/1230830?groupCode=tech_library

相关文章
|
20天前
|
存储 人工智能 分布式计算
阿里云DLF 3.0:面向AI时代的智能全模态湖仓管理平台
在2025年云栖大会,阿里云发布DLF 3.0,升级为面向AI时代的智能全模态湖仓管理平台。支持结构化与非结构化数据统一管理,实现秒级实时处理、智能存储优化与细粒度安全控制,助力企业高效构建Data+AI基础设施。
301 3
|
1月前
|
人工智能 文字识别 自然语言处理
有了AI叠buff,低代码行业在沉寂了一段时间后,好似又活过来了?
曾被质疑“难堪大用”的低代码平台,在AI驱动下正焕发新生。借助大模型,AI可理解自然语言、自动生成应用、智能补全数据、解析文档图表,大幅提升开发效率与业务响应速度。从“拖拉拽”到“你说我做”,低代码已迈入智能化时代,加速企业数字化转型。
|
存储 前端开发 Java
Java一分钟之-Java GUI设计原则与模式
本文介绍了Java GUI开发的核心设计原则和模式,包括分层架构(MVC)、组件复用、用户体验和代码示例。强调了MVC模式以提高代码可维护性,组件化设计以增强复用性,以及响应式和简洁界面以提升用户体验。同时,提出了常见问题的避免策略,如布局管理、资源释放和国际化支持,建议开发者遵循这些原则以提升GUI应用质量。
517 3
|
存储 分布式计算 大数据
「大数据」Lambda架构
**Lambda架构**是Nathan Marz提出的用于大数据处理的模型,包括**批处理层**(预计算准确性)、**速度处理层**(实时低延迟)和**服务层**(合并结果响应查询)。它强调**容错性**、**低延迟**和**可扩展性**,并结合实时与批量处理。然而,它也面临数据口径不一致、计算窗口限制及开发复杂性等挑战。常用技术栈涉及Apache Hadoop/Spark、Storm/Flink、NoSQL数据库、Elasticsearch及消息队列。虽然有缺点,Lambda架构仍是大数据处理的重要框架。
508 0
|
机器学习/深度学习 人工智能 机器人
「AIGC」DALL-E2详解
**DALL-E 2是OpenAI的文本到图像生成器,融合艺术与技术,通过文本编码、先验模块和图像解码创新性地将描述转化为视觉作品。它能理解抽象概念,生成多样化、高质量图像,应用于艺术、设计及媒体行业。然而,细节处理有限且涉及伦理挑战。**
821 0
|
监控 Java 测试技术
性能测试:主流压测工具介绍
**性能压测工具摘要:** - Apache AB:命令行基准测试工具,简单轻量,用于评估服务器性能。 - Apache JMeter:开源Java框架,支持多种协议,适合复杂负载测试,提供丰富的图表和报告。 - nGrinder:开源,提供直观界面,支持分布式测试,录制回放脚本,实时监控。 - Locust:Python基础,适用于HTTP/WebSocket测试,可扩展,实时监控。 - LoadRunner:Micro Focus的商业工具,广泛支持多种协议,功能强大。
|
SQL 安全 网络安全
网络安全与信息安全:从漏洞防护到加密技术的深度解析
本篇文章将深入探讨网络安全与信息安全的核心领域,重点关注网络安全漏洞的识别与防护、先进的加密技术以及提升安全意识的策略。通过详细分析各个方面的知识和实际应用,我们旨在帮助读者更好地理解并应对日益复杂的网络威胁。
1241 0
|
存储 分布式计算 算法
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(4)
517 0
|
数据可视化 搜索推荐 数据挖掘
数据可视化系列-06数据分析工具QuickBI
数据可视化系列-06数据分析工具QuickBI
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(2)
375 0