开发者学堂课程【新电商大数据平台2020最新课程：电商项目之数仓的数据产品服务化讲解】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/640/detail/10493
电商项目之数仓的数据产品服务化讲解
内容简介
一、 数据产品服务化
二、 建模分析
三、 词用原则
四、 外围建设
五、 元数据管理
六、数据质量监控
一、 数据产品服务化
1、数据产品化
面向管理层的宏观经营分析系统面向运营人员的业务监控报表系统面向广告已经营销的一体化数据营销平台其中营销平台涉及用户画像+用户触达+日志回流+效果分析(实验组+对照组)
2、数据服务化
数据以接方式直接服务于线上业务数据以共享平台方式提供基础标签服务什么是数据产品和服务化？第1点是面向管理层的一个宏观金融分析系统，数据应用是一个指标统计然后进行一个数据分析得出一些指标，这个指标会存到管理层的操作系统当中。主要是用于战略的调整，包括后期的一些数据分析得到第2个是面向运营人员业务的监控报表系统。这个报表系统是面向运营人员的，运营人员主要是监控我们的一些性能指标。第3个是面向广告以及营销的一体化 ，这种数据营销平台可能是对外进行提供了一些数据接口，主要是进行一些营销。第4个是在这个营销系统中它可能包含的东西比较多，在面向营销这个方面的话可能会包含一些画像，营销系统里边这个平台涉及的面比较广尤其是我们的用户画像，这个面向广告营销系统的话它要稍微复杂一些，里面的功能也稍微多一些。其实整体来说就是直接对接我们的一个线上服务为我们的第3方提供一个接口，为其他合作的公司提供数据知识。数据是以共享的平台的方式提供一些基础的。
二、 建模分析
数据产品化和数据服务化在智能开发中要对外提供数据服务，此时就需要一个建模分析。
三、 词用原则
总体原则：
1. 禁止逆向调用
2. 避免同层调用
3. 优先使用共同层避免跨层调用
四、外围建设
五、元数据管理
元数据管理：
1.表信息。包括表英文名、中文注释、表状态(在线级下线)
2.字段信息，包括字段类型、英文名、中文名、字段注释、保密级别(机密\保密\- -般)、逻辑说明
3.负责人信息，业务/开发负责人名超链接、所在部门
4.分区信息:分区名、分区大小、分区记录条数、生成分区的时间
5.血缘信息:表上游、下游节点信息
6.代码信息:生成该表对应的代码地址超链接
7.存储信息，总表大小、波动情况
8.热度情况，标识被下游依赖过多
9.权限信息，申请访问超链接、权限审批到单人单表单字段粒度、不同保密级别对应不用的审批流程六、
10.使用注意事项
六、 数据质量监控
数据质量监控系统主要是基于规则判断达到数据监控的目的，系统建设一般分为三个阶段。数据质量监控：表级别监控:主要为表的总条数、总大小、分区数据、各分区条数、各分区大小，条数/大小同环比，日增长情况等字段级别监控:枚举值异常判断、特殊值判断、范围判断等
全链路数据监控:主要依赖于上下游血缘分析，自动判断跟踪故障点，并及时告知相关负责人，表级别和字段级别的监控是比较常规且易实现的监控方式，全链路数据监控比这两着要复杂很多，涉及到从:源数据- >数据通道- >数据 ETL->数据展示的全过程
