开发者学堂课程【智能数据建模训课程 ：阿里云 DataWorks 智能数据建模（一）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/1223/detail/18311
阿里云 DataWorks 智能数据建模
五、DataWorks 智能数据建模的产品功能
智能数据建模首先是我们阿里巴巴这个团队，就是 DataWorks 全部都是自主研发的。我们的产品模块分为有数仓规划、数据标准、维度建模和数据指标四大板块。其中数仓规划，数据标准和数据指标三大板块最终都是为维度建模去提供服务的。
详细的产品功能介绍表图：
数仓规划：本身产品的定位就在于是说我数仓的顶层设计，里面公共层应该怎么划分，我的应用层应该怎么划分，业务分类怎么划分，主要是这些东西，这些产品功能，其实从产品定义上来讲，并产品使用上来讲的话，其实并不复杂。建议先在插麦里把它先画好，大概有一个自己的图形了然后再录入到产品里面来。强调一下，这个有一句话是可视化的，表明检查器管理。日常的数仓规范管理到产品里面是跟着具体每一层的，它能够针具体的层，比如 DWD层，表明应该符合什么规范，我有几个推荐的，表明规范有一个默认的指标名称的规范等等都可以在这里来维。
从维度建模的时候，实际上可以根据架构师所设定好的表明检查，我们规范里面的表明规则应该是什么，以及用户所选的它里面涉及到元素，比如我的数据，业务过程，业务分类等等，然后可以自动生成，表明这个点的话。这样可以提升建模效率，并且能够保证产出的东西是符合规范的。
数据标准：我们现在主要会能够支持到有数据，有字段标准的设置，有标准代码的设置，有数量单位的设置和命名、词典的设置，数据标准和标准代码设置好之后，再生成的模型是可以和我们关联的。关联之我们模型字段的名称，还有它的值等等都需要去符合标准里面的设置。
数据指标：比较有特色的是我们的批量创建指标，批量创建指标的时候只要大家去勾选你所需要的原子指标、修饰词、时间周期，然后我们就可以离开耳机去生成一系列指标，并且生成的指标里面还能告诉，哪个指标是系统里面已经存在的，那些指标是还没有生成的。，然后来去生成指标，因为其实指标本身它生成之后，它不不存在，是说我占用计算资源，存储资源，因为它还没有去物化，那这个时候，我可以先批量去创建一些指标，然后用于我的我们的模型设计，我指标创建好之后，两个作用，一个是说我们可以把指标批量导入到模型里面来就。
模型的字段存在，那另外一种用法的话，就是我模型字段已经有了，那我我的模型的普通字段需要跟指标做关联。这样在物化之后去分析这个指标的时候，其实我可以找到指标应的具体的是哪个模型，哪个物理表，物理表中的哪个字段我能够找到，那它的指标定义和最终的逻辑的话就能够统一掉。那最后我们再来看一下维度建模，维度建模的话，实际上我们能支持到有正向建模和逆向建模。先讲一下逆向建模，逆向建模的话，主要解决的是已有数仓的能启动的问题。如果说一个公司，其实他历史上已经做了很多年的数仓了，但是一直没有建模，没有模型，但现在，企业可能发展到一定比较稳定的阶段之后，可能希望把模型管理起来，做好成本控制，还有效率提升等等。
可能就需要用逆向建模这个功能来去把你已有的物理表通过表明去做精确匹配，或者是模糊匹配，然后把它能够逆向回来，去把同步把它的模型管理起来，然后正向建模，这里的话我们会支持到有可视化建模，可视化建模，实际上它就是一个类似 Excel 的方式，然后你可以把就是网页版 Excel 的方式，你可以把我们的模型字段，信息能够统一管理起来。并且在这个管理的过程中的话，实际上我们有一个。很大的一个特点是说可以去复用已经存在的物理表的表结构，这样的话，其实能够极大的提升建模效率，并且不会出错，并且它在后续再去生成我们数据开发的代码的时候有很大的帮助作用。举个例子：比如说尾商明细表，DWD 表的模型的设计的话，其实多数情况下，我需要去参考我的ODS 业务表。传统的做法，就是把 ODS 表的表结构 copy 1份，然后再去生成一个，再去把里面的代码改一下，DDL 代码改一下，改成我现在的明细表。你会发现这样的话，除了各种 CTRLC,CTRLV 这样的操作以外，其实你最后改到你哪个来自于哪都不知道，但是通过产品化的方式的话，首先你能够把字段轻松的能够拿进来，拿到你当前的模型里面来，不需要做很多的 CTRLC。其次,当你在改完你的操作的所有的字段之后，实际上你还能够知道当前的模型的这个字段是来自于原来 ODS 表的哪个字段，哪张表的哪个字段所以在新建模型的时候，尽量去使用可视化。按建模这种方式的效率会非常高，同时也可以把平常创建好的指标，作为我的模型字段来使用，这样对我们建模的效率有非常大的帮助。
那其次再讲一下多语言建模，我们可以支持到有各种的 DDL 的方式去建模。还有 FML，这个是我们自研的一种那个建模语言。如果大家购买产品之后这种方式可以试一下，它本身建模语言会非常简单。当然传统的像 Maxcomputer DDL 或者 Hav DDL 的话我们也是可以支持的，一般建议是说先用可视化建模，然后如果有需要修改字段的，那可以用这种 DDL 的方式，或者 FML 的方式去做字段的修改。目前来讲收到反馈是说这种效率组组合的方式去做模型设计效率会特别高。针对于传统的可能有很多同事是说大家喜欢用 Excel 去建模，工作方式不太好改变的那功能我们也支持，然后用我们的模板把模型设计好之后直接导入进来，在我们模型设计好之后可以通过几项操作：第一项是可以直接把模型物化发布到各个各种引擎上，比如说我们支持到 maxcompte 的 Emma follow grece 等等都可以支持，第二，如果我在建模过程中，设置了某一个字段为主键、字段非空字段、或者是关联了我这里数据标准里的标准代码，那产品其实可以帮您一键去生成字，一键去自动生成质量规则。
第三，当我们如果说是我把模型发布到某一个，比如说发布到 MYSQL 的这个引擎，它的生产环境之后，我们是可以提供会自动帮您去生成一段那个数据开发的简代码，这也是我们的智能数据建模，可以在帮助大家提升建模效率的同时，也能去提升研发效率。
数仓规划，整体的架构是这样的中间这块儿内容，首先需要先去定义业务分类。从业务来讲我们的业务分类在细分的时候可能会有天猫、淘宝、菜鸟等等，根据各个数仓团队，自己面向的业务来去做划分，建议业务分类，哪怕你只管一块儿业务，也给他定一个名字，定一个英文缩写，这样表明模型名称话应用，未来数仓团队扩大，管辖范围扩大、工作职责范围扩大的时候也不会是面临模型可能不太好去区分的一个情况。业务分类分好之后，再来看一下我们公共层和应用层的一个区分。
首先公共层这里我们会分三层，刚才也讲到了 DM、DWD 和 GWS。DM层的话我们是需要去区分一下数据域，不需要再细分。纬度表，只需要分到数据域就可以。明细表的话需要去细化到有具体的数据域和业务过程。举例：有一张订单创建表，这张表实际上的数据域可以是交易域，那它需要指定一个业务过程，这个业务过程可以是下单. DWS 轻度汇总是只要指向到数据域就可以，应用层主要是 ADS 层，在实际工作中，有可能应用层不止有 ADS，还会有一个team。这个情况的话，其实产品上都支持大家灵活设置，我们默认是会生成应用层的 ADS 层，没有未读层，但如果需要，其实也可以自己去创建。然后 ADS 层，我们主要会去分到需要指定到具体的数据集即适合主题域。模型在分层化域的时候需要去考虑到的一整套的一个体系。同时，如果说是我们数仓团队负责的多个业务，多个工作空间，然后他需要去复用同一套数仓规范，那这个时候其实可以去使用一下我们的建模空间，这个功能建模空间，其实主要的功能是将一个工作空间指定为建模空间以后就可以同步把其他几个需要共用数仓规范的空间来设置为它的研发空间
逆向建模
逆向建模，这里的话可以看到的是说默认会选中是说当前表所在的空间是哪个空间，那如果有刚才的研发空间，这里其实页面往下拉。还能选到我的研发空间，目前我们支持的是 Mac computer 的引擎，这里需要指定一下是模糊匹配还是精确匹配，然后下面需要输入，如果是模糊匹配的话，实际上只需要输入表明关键词就可以，如果是精确匹配的话，需要输入表指定我们的表名规范，如果指定之后，那我们根据这个关键词检检测到的表，那我们会去匹配这个规范，然后具体去生成。最终会提示生成，成功的模型有多少张，失败的有多少张，成功的它的明细是什么？这些也都会有。
正向建模
正向建模是让我们支持大家能够去创建维度表、明细表、汇总表、应用表都可以。
整体模型的结构如下所示：
点编辑进来之后可以去操作我的基本信息，基本信息里面主要是分层发育以及表明的生成。表明生成的时候都是都是自动化的。第二部分是我们的字段管理，那字段管理，可以看到从指标导入，从表导入从指标导入，就是从我们的数据指标导入派生指标，从表和视图导入的话，基于已有的物理表或者是视把它的表结构同步过来。同时，点编辑进去之后有一个设置，设置这个表格它是一个个性化的，每个人都可以有自己的不同的习惯，你需要日常关注哪些字段你就可以放出来，不需要的也可以隐藏起来的。同步这个表格，它本质上就是一个 Excel 的操作，右键的话会有很多操作，可以尝试一下。
数据开发的简代码
DataWorks 智能数据建模﹣数据开发简代码
mdatr
- author ：爱园
- create time :2022-03-01 10:35:35﹣模型名称： dim _ date （日期维度表）
﹣业务分类：天猫精灵；数据域：交互域；模型招述：日期维度表111
业务过程：用户交互城默认； 存储策略：每日全量（ df ): 生命周期：365天；
INSERT oVERWRITE TABLE dim _ date PARTITION ( ds ='${ b í zdate }', hh =${ self _ define })
SELECT t1. cal _ str AS cal _ str 一字符型日期，格式：YYY4DD
,t1.cal_ date AS cal _ date 一日期格式。 datetine 类型。УУУУ- m - dd hh : ni : sS ,t1.holiday_ flag AS holiday _ flag 一是香节假日
,t1.day_ of _ year AS day _ of _ year -﹣年的第几天
,t1.day_ of _ week AS day _ of _ week 一周的第几天，周日是第一天,t1.day_ of _ month AS day _ of _ month 一月的第几天
,t1.day_ of _ quarter AS day _ of _ quarter ﹣一季度的第几天
,t1.week_ of _ month AS week _ of _ month -﹣月的第几周1-7号算第一周,t1. week _ of _ year AS week _ of _ year 一年的第几周。（按中国习惯）
,t1.П onth _ of _ year AS П onth _ of _ year ﹣一年的第几月
,t1.quarter_ of _ year AS quarter _ of _ year 一年的第几季度,t1.quarter_ beg _ dt AS quarter _ beg _ dt 一季初日期
,t1.quarter_ beg _ day AS quarter _ beg _ day 一季初日期
,t1.quarter_ end _ dt AS quarter _ end _ dt 一季末日期
,t1.quarter_ end _ day AS quarter _ end _ day 一季末日朋
,t1.П onth _ beg _ dt AS П onth _ beg _ dt 一月初日期
,t1.П onth _ beg _ day AS П onth _ beg _ day -﹣月初日期
,t1.П onth _ end _ dt AS П onth _ end _ dt 一月未日期
,t1.П onth _ end _ day AS П onth _ end _ day ﹣一月未日期
,t1.days_ in _ cal _ quarter AS days _ in _ cal _ quarter 一本季度的天数
,t1.days_ in _ cal _ year AS days _ in _ cal _ year 一本年的天数
,t1.is_ Workday _ new AS is _ workday _Л ew 一是否工作日． ,t1.next_ work _ tine AS next _ work _ tine ﹣下一个工作日．
УУУУП ndd 24hh: mi : ss ,t1.i5_ triple _ salary AS 1s_ triple _ salary 一该天加班是否享受三倍工资
УУ yymmdd 格式
У Yyymmdd 格式
y УУ ymndd 格式
在上一页，模型如果发布生产，在这里点发布发布生产环境，如果生效之后，那这里的模型开发就是可以点的，那点这个模型开发的话。可以跳转到this丢丢里面来，跳转过来之后，上面绿色的备注部分的话，我们除了一个作者和时间之外，还会把模型的分层，化于的信息放过来，帮助建开发的同学能够理解是说我的，模型分层化于到底是怎么样的，Insult over right table 这个就是我们的模型名称会自动带过来，如果是要把模型名称和表名称写成不一样的，其实我们不太建议这样去写，一般建议是相同的，那你也可以手动去修改，对那 partition 后面的 DS，就是我们在模型里面，就是在上一个页面下，下面这里，其实还有一个分区字段。我们会自动给你带过来它是什么。
然后再看一下 select 的部分，Select from 的这张表，它实际上就是我们刚才在这里从表导入，我选了哪张表的那张表会放到这里，表比如我把它设置是 T1 别名，那 T 一点叉叉叉就是原表。把它设置为T1别名，T1.XXX就是原表，即来源表和来源字段，哪张表的哪个字段我把它的模型名改了什么就是模型字段的一个显示名。还有描述那同步，如果说是我在上面这个后面还有一个针每个字段会有一个冗余字段的操作。假如是一个 ID 字段，那我需要把 ID 的 name。还有它的位置等等其他信息要放到这张表来的时候去找到对应的维度表，把应维度表里面的字段拉到这张表里面来，那它就是一个关联的操作，或者是说我去建立表和表之间的关系通过关联关系去设置。
这样的条件还有K算的逻辑，还有后面的话会有一些外耳条件通一下这些信息属于是理论上，他是可以直接去做发布了，所以这种，其实日常来讲，可能都是从零到一，从 select 开始写，或者是 COPY 一段，就是已有的 select 的那个字段的表的字段去写，但是其实都可能中间批量去修改的操作，其实那些操作的话，可能不太需要去动脑筋，但是他就是要，花费，其实还是有不少的工作量在里面。那这样其实于研发效率的提升来讲，帮助会非常非常大。
数据指标：
这个图是数据指标的批量创建，坐侧们是用来去筛选元素，指标修饰词，时间周期的，右侧在批量选完之后，这边会自动离开二级去生我们能够生成的指标。那生成的指标黄色的icon代表这个指标没有生成，那绿色可以发现有一串这个指标编码，它实际上代表这个指标已经生成了，在下一步生成的时候，只会去创建这种黄色icon的指标，这里指标创建好之后的话，再回到上面来一下，从指标导入，大家就可以找到应的指标了，就可以作为你的模型字段来存在，那同时如果说是像我们刚才从标导入了，但这个字段我就希望和指标去做一次关联。那就可以用这个关联，如下图所示：
关联力度和指标来去做指标的关联
数据标准：
这里简单讲一下数据标准，会支持到有字段标准，字段标准里面有一个会员，那会员大家日常的叫法会有很多比如member I，u 的 ID，有叫 maver，下划线 ID，也有不带下划线的等等，这个就是把这些字段可以就是有很多说法的，日常经常需要去说到的一些词语，我们的业务的词汇，给它一个标准定义，标准代码主要是字段的值会有一个要求，比如说我们这个行政区域代码，那我可以里面定义，比如说北京就是同一的一个编码，都要去符合，还有度量单位和命名词典。，这些定义好之后的话，在维度建模过程中都可以去做关联，并且如果是关联了标准代码这个，其实我们会自动能够去生成它的一个质量规则，也就是说如果关联了标准代码的字段，如果它在数据开发的过程中不符合这个要求，它是会有告警出来的。
六、智能数据建模多引擎的支持
针到 Maxcompute 和 hologace 的话，会有很多定制化一些比较优秀的一些产品功能的支持，Mac computer 目前来讲可能支持的会比较多，比如逆向建模，查招标，冗冗余表，还有代码建模发布，导出 DDL，还有数据开发的简代码等等，那 hologres 的话，逆向建模这些功能也是在规划中。就是有一些是已经支持，有一些的话可能就是规划中即将会支持的产品功能。
七、怎么买建模以及建模收费方式
在阿里云可以去找到 database 这款产品。然后进入它的购买页面，就是 day talks 基础版是不支持购买数据建模的需要，是标准版及标准版以上，那选了标准版及标准版以上，下面会出来现在智能数据建模这几个选项，那它会有一个大家看到最大数量50，最大数量500，这个是我们分了四道。
一般来讲，新用户体验的时候，建议买这个50的这一档就够了。这一档的话，我们现在有首月199的活动，原价的话是7500块钱还是很优惠的。那无论是哪个档位，比如说你选12个月，这边更多时长里面有12个月，那选12个月，它自动会有包年八五折的一个优惠。那如果是一直保有版本的这种购买，那实际上有可能会遇到一个小问题：买的时候它自动会选中上一个版本，这个时候也不用着急，你再把它点一下就去掉了。买建模，其实只要你是增值版本就可以，不需要你去做版本的更高的升级的。
四个规格，就是50数量，500数量2000，数量和5000。那实际上，50数量就适用于新用户去体验产品功能。然后500数量，一般中小型的企业其实是够用的，因为其实不是你所有的物理表你都需要去建模的，那这里也也只会考核，通过智能数据建模，去建的模型以及指标，指标我们还会再除个十，所以这个地方，如果觉得可能很多人我碰到，就是会觉得500的数量是不够使用的，但这个时候其实可能中间理解上有一个概括。再讲一下：不是所有的物理表你都需要去做建模的，这里只有建模的才会算到这个数量里面来。我们的产品首页上也会有一个介绍，就是当前的话，我们所有的工作空间下，就是这个租户下的所有工作空间，那我们应的模型数量总的数量是多少，这个才是我们的计费数量，不要着急，不会把你所有的物理表都会算的。一般来讲，比较大型的企业可能这个2000模型就够了。所以其实如果按日常的物理表去算，那我的物理表特别多，上万的，上几千的那500肯定不够的但其实这里的话并不是所有你的表都需要去建模的，比如说你的临时表，中间表这些表都不需要建模，那应用层要不要去管模型，其实建议还是要管的，因为如果应用层管好，其实你的成本的。就是计算，存储成本的下降会有很大的帮助，省出来的钱不是这个版本分这点儿钱，而且版本费，现在包年还是有活动的。另外一点再强调一下 Facebook 的基础版的客户是不能买建模的，这是版本的限制。
还有一点，如果买了建模，然后短期内觉得不再使用，然后不想续费的，这个也没关系，你所有创建的数据全部都会在产品上有保留，不会去给你做删除，这一点可以放心，后续需要去使用建模的时候可以再进行续费，再来去继续使用就可以。
