开发者学堂课程【互联网技术实战营·数据智能专题：《阿里云数据治理方案及案例分享》】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/915/detail/14469
《阿里云数据治理方案及案例分享》
目录：
一、 企业数据治理的痛点
二、 阿里云数据治理的特点
三、 阿里云数据治理方案
四、 数据治理交付案例
一、企业数据治理的痛点
（1）企业数据治理的痛点分析—如何按时按质的交付数据
1）数据质量问题都很过关，但是执行过程中没有抓手
2）不同职能部门数据应用各自为战，指标口径不一致
3）数据有了，怎么让他们切实的产生业务价值
4）缺少方法论的支持，治理过程随机随意，缺少章法
5）数据开发的速度永远追不上需求变化的速度
6）主数据质量差使得数据分析大打折扣
7）质量问题：
·数据从生产开始，经过抽取与加工过程，质量存在问题，不得不人工干预甚至无法使用
·组织与流程层面缺少数据质量维度的考量，在业务快速发展过程中数据质量的管理缺少制度保障
口径问题：
·缺少数据指标字典，各个业务部门对相同的指标存在不同的解释，数据在汇总分析时遇到困难
·业务数据，财务数据和系统数据之间由于业务架构的原因存在割裂，数据在透视分析时出现问题。
价值问题：
·数据缺乏行业知识库，对数据的应用往往仅限于统计分析，未能深度挖掘数据的价值。
·业务应用的建设过程中，数字化的程度不高，数据服务以及其他业务数据深度融合场景无法实现。
（2）传统治理跟阿里云治理的区别：
（企业的数据治理工作开展了很多年，依然成效有限）
阿里云数据治理的特点：数据治理成效缓慢，数据问题依旧严重，主要原因是数据作为资产管理和运营能力的不足。
1）数据治理成果落地不足：数据治理产出成果，比如各类规范或管理办法，包括数据字典，多以“paper”“work”的形式流转于企业中，与实际业务和数据没有相撮合，能满足“我有”，
但是不能满足“我执行”。
2）自动化服务程度不高：业务人员更多需要数据和技术人员的贴心服务，按照建设的模式提出数据加工需求，以被动支持的方式满足业务需求，没有形成数据资产目录。
3）主句治理在线管理能力不足：缺少灵活友好的数据治理或数据资产在线管理工具，来支持数据治理和全流程工作治理与源仓之间没有打通
4）数据资产运营水平不高：缺少运营的理念，以及敏捷的项目管理法，数据管理滞后于业务的创新和变化，导致数据质量和数据可用的效率低。
二、阿里云数据治理的特点（阿里云数据治理围绕数据中心框架体系，旨在通过一系列技术和管理措施，实施数据资产化，不断拉高企业数据治理北极星指标）
（1）不同于传统数据治理，阿里云提出全流程数据治理的思路
1）从项目到运营：改变数据治理一期又一期的项目制的思路，帮助企业建立数据资产运营体系，持续开展数据资产目录更新，维护授权和安全数据资产使用和应用分析资产质量检测资产价值估算和统计等一系列运营工作
2）从割裂到融合：将数据治理贯穿在从数据采集同步，再到数据开发，应用和服务的全流程中，强调数据管控执行力和与平台融合的落地能力，解决治理和数据两张皮的问题，形成全生命周期，全流程和全景式的三全管理
3）从支持到服务：通过敏捷的项目管理和组织体系，万 date 维度建模方法以及自主化的工具和服务能力转变数据的供应模式，从传统的项目建设到开放自助式数据服务
4）从线下到线上服务：数据治理项目不适宜产出数据治理文档为目标，而是为更好的实现数据资产在线管理，利于资产目录，资产地图和数据学员便于找到数用好数理解数
（2）结合阿里巴巴数据中台 3one 的核心理念
（阿里数据治理方法论：OneData 数据资产化核心方法论）
OneModel
·数据标准化（数据规范定义，从业务源头规范化）
·技术内核工具化（规范定义，调度运维）
·元数据驱动智能化（半自动化>-智能化规范计算机和存储）
OneID
·技术驱动数据连接（基于超强 id 识别技术连接数据）
·技术内核工具化（超强 ID 识别，高效数据生产）
·业务驱动技术价值化（高质量、高价值）
OneService
·主题式数据服务（主题式逻辑表服务屏蔽复杂物理表）
·统一而多样化的数据服务（一般查询+在线服务）
·跨源数据服务（屏蔽多种复杂异构数据源）
三、阿里云数据治理方案
（1）提出以“数据可用率”作为核心导向的企业数据治理
数据核心治理要解决的问题是：数据模型逻辑正确，数据技术稳定可靠，数据业务高可用，所以，最终体现到业务层面上的核心要求就是：按时按质交付数据，即定义为数据可用率。
数据标准化
·数据规范定义，从业务源头标准化
·引入质量监控工具，加强全国数据质量的团环问题
模型规范化：
·对公共模型的建模进行规范，从 ODS-CDM-ADS 的命名和开发过程提出一致要求，统一数据指标字典。
数据企业化/业务数据化
·深度融合业务和数据，敏捷相应业务新的数据要求
·规划数据应用场景，包括数据分析，智能应用和数据服务等。
（2）（将“数据可用率”作为北极星指标，并采用四分法指标分解）
数据可用率的提升，需要从数据应用，数据模型，数据安全和数据质量四个维度去着力，并且根据每个维度提出可量化的指标，数据中立的各项工作聚焦到量化的指标上面去，这也是传说中数据治理的难点。
数据应用
·时效性
·稳定性
·准确性
数据模型
·覆盖度
·穿透力
·重复度
数据安全
·可靠性
·故障率
·风险度
数据质量
·一致性
·完整性
·规范性
（3）数据架构总体解决方案：
通过梳理业务主线，理清业务范围和流程领域建模阶段，对概念进行抽象，通过实体建模法，从纷繁的业务抽象背后，抽象出实体事件说明等抽象实体。
ADS 层:统一视图层，共应用查询或数据共享服务，按照分析主题域，从不同的视角或维度组合对数据进行关联。
DWS 总数据层:按照业务归属结合，业务需要对数据进行汇总，关联原则指标的加工等处理数据力度到参与人级别。
DWD 层:明细数据层，在 ods 数据层的基础上进行清洗，转换等数据予以层面的加工或处理，不进行汇总或其他与业务相关性较强的处理。
ODS 层:接口数据层存放来自各个系统的原始数据，不对数据作任何操作，加工保留周期较短，主要用于数据核对数据问题的追溯。
DIM 层:公共维度曾数据字典或者维度信息。
（4) 元数据治理解决方案：
新一代治理以元数据管理为核心，打通数据在生命周期，从源头开始全链路监控，保证数据质量，体感数据可用性。
元数据管理要求：
·元数据管理制度
·元数据查询：地图、分布、规范标准、数据字典
·元数据分析：血缘分析、影响分析
·元数据变更管理
·原模型设计
·统一数据操作入口
元数据技术要求：
·自动发现企业所有数据资源
·对数据进行诊断评估
· 自动探索数据关系
·简化数据使用l 清晰数据分布
·明确数据流向
· 数据供需管理
·统一数据操作入
(6)主数据治理解决方案：
.主数据定义：包含数据主数据的业务属性定义、技术属性定义、管理属性定义
.主数据规范：数据字典、数据分类、数据编码规划、数据描述规则，确定主数据对象的完整性规则（必输、可选、隐藏、显示）、主数据对象的唯一性规则（确保一物一码）、主数据对象的规范性规则（确定每一个输入框的值符合标准规范）。
主数据管控模式：
·集团和子公司之 前的主数据管控模式
·后治理的主数据 ，采用合并和集中哪种模式
·主数据的识别和合并规则
·清细规则主数据的共享和分发机制
·主数据管理的权贵关系:所有权、使用权、定义权、审计权
四、数据治理交付案例
1.某教育行业数据应用建设
（1）项目背景：
目标将建设为应用型人才培养特色鲜明，服务地方产业发展能力突出的高水平理工科大学学校希望借力信息化提升校园整体管理水平，启动推进学校智慧校园建设项目。
（2）客户价值：
1）三中台智慧校园全国标杆:基于数据，中台 a iot，中台移动，中台搭建智慧校园新底座打造教育新基建全国标杆案例.
2）数据融合消除孤岛:通过数据中台建设，打破部门壁垒，融合条块分割实现资源整合和目标协同，以部门为中心，转变为以师生需求为中心支撑，解决科学决策体系，提升教育管理科研，办公效率的提升
3）基于专属钉钉打造校园系统和业务统一入口:让数据多跑路，学校流程与服务管理更便捷高效
4)高校产学研融合:联合搭建新工科学院的物联网课程，AR/VR 课程产品与教学服务体系融合，培养适合地方产业特征具有竞争力的新型人才
2.某建筑行业公司数据管理与共享项目
某建筑公司的信息化经过多年发展，围绕 ims 、pms 等业务系统基础上，积累了大量的历史数据，通过本次精益建造，管理升级将存通用治理念贯穿其中，通过一切业务数据化，将在局层面围绕数据中台业务，业务中台、lot 台打造企业数字化能力。
统推财务一体化，云筑网系统，并在集团层面构建管控标准，实现各类系统集成的集中管理和线上管控，并通过 API 网关，数据网关及服务中心模块保证数据集成的安全性，规范型，便捷性和可控性。
