建仓时,如何评估数据模型建的好不好?

简介: 建仓时,如何评估数据模型建的好不好?

建模的流派

嗯,这里不是要说immon和kimball的流派,因为他俩的建模思想是一致的,都是维度建模。一般来说,建模有几大类:

1、关系模型(范式建模

2、维度建模(星型、雪花型)

3、宽表建模(世上本无宽表,互联网搞得多了,也就有了宽表模型)

关系模型一般在业务系统用的比较多,维度建模在数仓里用的比较多。这个不绝对。


但是现在很多互联网公司因为业务变化太快,导致常规的维度建模不适用了,实在是没办法,只能拖宽表应对产品经理疯狂的催促。


你看,这三种流派,各自成体系,可不能用统一的方法来评价。


比如宽表,拿啥标准都不行啊~~~都挤成一张饼了。


拿维度建模的标准去评判关系模型,也不行啊,它们各有各的目的,要不整两个流派干啥?而且,在主题域模型、概念模型、逻辑模型不同层面,其评判标准也不一样。所以不好说啊。


模型的好坏

怎么才能算是一个好模型?这得说到数仓建设的核心奥义:解耦。数仓分层也是因为要解耦。以前的数据处理逻辑都写在一起,一个巨大无比的存储过程。


相互之间还不断调用,加上数据的复杂程度,简直难以理解。看懂一个存储过程都要消耗几百亿个脑细胞。所以,稍微有些架构思维的人都会把程序不断的拆解,不仅在数据领域是这样,在整个软件工程都是这样。高内聚,低耦合。在模型这边更是这样。一个优秀的模型,应该具有以下特性:1、稳定性:其实就是低耦合设计带来的特性。一个优秀的模型应该能够支撑上层不断更新的业务需求。2、可复用:避免与业务绑定过死,导致模型的个性化。比如宽表,可复用性极差。不过这也不绝对,在业务频繁变化的场景,只能选宽表。3、业务支持:数据是业务的投影。数据模型是业务的成像原理。因此建模时必须与业务贴合。这一条看上去与上一条冲突,其实不然。区别在于支持和完全一致。如同照片和影子的区别:影子可以随着地形的变化而变化,而照片与实体保持高度一致。4、通用性:一个优秀的模型应该是合理抽象的,因此能够在不同企业的类似场景中通用。比如FSLDM,一个模型吃了几十年了(虽然有更新)。5、友好:一个优秀的模型应该对数据建模师友好。如果在业内人员眼里都很怪异,那么肯定不能算是好模型。6、干净:一个优秀的建模师干的活儿如同陕西媳妇揉面一样,三光:手光、面光、盆光。标准统一、规规矩矩,干干净净、一板一眼,顾名思义、不用瞎猜。一个字:合理。


评价

这个评估模型还是很粗糙的,其实可以再细化一些,弄给一个评分表,各自对自己的模型进行打分。比如最后一个干净,就是卷面分,稳定、复用就是技术分啥的。最好是让别人给自己的打分,然后就知道自己的模型建的咋样了。好了,今天就分享到这里,明天再见。

相关文章
|
2月前
|
SQL 数据采集 消息中间件
DataWork数据处理问题之新数据任务结束如何解决
DataWork数据处理是指使用DataWorks平台进行数据开发、数据处理和数据治理的活动;本合集将涵盖DataWork数据处理的工作流程、工具使用和问题排查,帮助用户提高数据处理的效率和质量。
36 1
|
7月前
|
算法 搜索推荐 UED
文档关联规则挖掘算法:提升文档管理软件效率的新途径
使用文档关联规则挖掘算法来提高文档管理软件的管理效率可是一个非常棒的办法,就像熟练的园丁在整理花园一样,轻松为用户梳理海量文档。这种算法犹如一把神奇的法宝,能够揭示文档之间的奇妙关系和潜在模式,使文档分类、检索和推荐如丝般顺滑,就像天然的流水一般。接下来,就让我们来探讨一下如何通过文档关联规则挖掘算法提高文档管理软件的管理效率吧——
188 0
|
8月前
|
存储 SQL 数据挖掘
数据仓库-维度建模不是万金油
写在前面:最近有些抵触写东西,总感觉自己没有清晰的表达思路和专业的知识体系,写的东西都是更偏向个人经验的一家之谈;之前总想着把文章结构做好,图片做好,表达做好,这样能更容易让大家理解,可以让更多的人接受所要表达的观点;但是,这样写太痛苦了,似乎是为了达到某种结果而刻意为之。。。最终还是回归表达的本质,传播思路和想法,把这个说清楚就可以了,不管是三言两语还是长篇大论,让看到的人能知道有这么一种观点和
102 0
|
11月前
|
机器学习/深度学习 供应链 算法
【数据分析模型】描述性 vs 预测性 vs 规范性 vs 诊断分析
【数据分析模型】描述性 vs 预测性 vs 规范性 vs 诊断分析
|
存储 监控 搜索推荐
数据挖掘-模型怎么解决业务需求(五)
数据挖掘-模型怎么解决业务需求(五)
154 0
数据挖掘-模型怎么解决业务需求(五)
|
数据采集 存储 数据管理
改善数据管理的5个关键步骤
数据管理员是负责一组数据或数据域的专家,通常确保组织定义业务术语、创建和维护数据质量规则,并在所有系统,应用程序和报告中一致且准确地应用数据。
|
SQL XML JSON
多样性数据源报表如何做?
现代应用已经进入多数据源阶段了,不再是一个单一的数据库包打天下,一个应用中会涉及除关系数据库外各种数据源,如文本文件类数据、NOSQL、多维数据库、HTML Webservice等等,即使是关系数据库,也不止一个。 与之对应的,应用中的报表自然也会涉及到多样性的数据源了 现在的报表,基本都是用报表工具来做,很多报表工具都号称支持多数据源,是不是能解决这个问题呢? 实际上并不能,他们只能搞定一点点
175 0
多样性数据源报表如何做?
|
机器学习/深度学习
DataScience&ML:金融科技领域之风控场景之风控指标/字段相关概念、口径逻辑之详细攻略
DataScience&ML:金融科技领域之风控场景之风控指标/字段相关概念、口径逻辑之详细攻略
|
存储 SQL 缓存
怎样评测对比报表工具的性能?
怎样评测对比报表工具的性能?
164 0
怎样评测对比报表工具的性能?
|
安全 数据挖掘 测试技术
带你读《SAS数据分析开发之道 软件质量的维度》第二章质量2.2软件产品质量模型(一)
带你读《SAS数据分析开发之道 软件质量的维度》第二章质量2.2软件产品质量模型(一)
带你读《SAS数据分析开发之道 软件质量的维度》第二章质量2.2软件产品质量模型(一)