二、用中台方法论构建与治理企业级好数据
1. 概览
阿里巴巴在2015年提出全面启动中台战略，并在集团内部开启了一系列数据技术建设探索，沉淀下特有方法论捋清了数据全生命周期的管理思路，将其植入到瓴羊智能数据建设与治理Dataphin产品中，并与Quick BI（数据可视化分析）、Quick Audience（全域消费者运营增长）一同形成数据中台建设核心产品体系。
自2018年问世以来，Dataphin已发展出了内容丰富的功能大图，到目前为止经历了多轮大版本升级，产品核心的能力模块清晰显现，可以帮助企业高效地完成「好数据」的构建。
1） 产品架构
Dataphin产品架构图
Dataphin从下而上可分为四个大板块：
∙ 平台底座：
◦ 引擎平台兼容：可支持不同的引擎及部署环境，可纳管不同的引擎，包括但不限于MaxCompute、EMR、Hadoop体系（CDH、华为、星环、亚信等）、交互式分析Holo、Impala、ADB for PG、Starrocks等，Flink商业及开源版等，也支持不同云平台环境的部署及私有IDC部署
◦ 多样化开放接口：开放数据集成、数据处理、调度、运维、元数据、质量、安全、标准等几百个标准化接口，可与企业自有系统进行对接集成或进行功能个性与定制
◦ 配置化能力：开放了关于消息渠道、审批渠道、认证、审批模板、样式配置等客制化的能力，更好的适配企业的规范及场景。
∙ 数据建设平台：
◦ 全域数据可集成：通过配置化的方式完成数据的模型构建及指标的构建，并同时支持代码编写模式，更灵活的适应不同的场景和诉求，并支持日千万级调度能力。
◦ 规范建模：Dataphin遵循Ralph Kimball的维度建模理论，可根据业务实际情况在Dataphin设计并创建概念模型，并通过概念模型中的业务实体（业务对象或业务活动）创建对应的维度表、事实表、原子指标、业务限定、指标、汇总逻辑表。
◦ 指标构建与管理：通过构建的规范化的要素（原子指标、统计周期、维度、业务限定），配置化的方式构建指标；也可将通过代码方式已经加工好的指标注册到汇总表上，进行统一的指标管理。
◦ 标签工厂：可通过配置化的方式加工标签，让业务人员也可进行标签的二次加工及群组的圈选；通过快捷的配置，提供群组及标签的服务；根据元数据进行标签及群组进行治理、运行和管理。
◦ 数据服务：通过数据服务，可将提供高效的API开发及运维能力，可将数据资源通过API统一服务业务系统。
◦ 隐私计算：打通内外循环，实现数据不出域的自由流通，让数据可用不可见，数据价值化的同时保障数据的安全合规。
∙ 全域数据治理：Dataphin不仅仅治理数仓内的数据，也需要治理全域数据资产。
◦ 资产盘点：在数据治理开始前，需要对全域的数据进行盘点，对元数据进行丰富
◦ 标准及规范：Dataphin可支持数据的规范、研发的规范，制定数据标准，让数据治理“有法可依”；通过数据标准的手动和自动映射，可将表资产的字段与标准进行关联，并进行元数据和内容的稽核和监控
◦ 资产质量：提供全域的资产质量校验及跟踪方案，从质量稽核与评估（质量大盘、配置质量规则、查看校验记录、质量监控、智能报警）、质量治理（质量工作台、质量整改跟踪）、查看质量报告等功能。
◦ 数据安全：通过自动及手动的方式，可对资产进行分类及分级打标，对数据的权限申请流通进行规范的管理，也可对高敏数据在流通前就对数据进行加密处理，避免数据泄露
◦ 资源治理：通过元数据，对数据存储与计算资源诊断与治理，在数据价值挖掘的同时，也控制数据的成本，避免数据沼泽。
∙ 全域数据运营：数据在消费者手中用起来才能发挥数据的价值，全域运营是将数据资产推送到数据消费场景中，让数据在消费者手动实现价值化。全域数据运营板块主要提供一下功能模块：
◦ 资产目录：业务及消费视角的数据资产目录，可快速搜索查找推荐数据资产，推动企业数据文化。针对不同的人群，Datpahin可定制多套目录满足不同场景不同人群的找数、看数需求。
◦ 数据门户：通过提供场景式、主题是的数据门户，让用数的成本进一步降低，数据可找到正确的人。
◦ 自助消费：通过打通BI分析系统，面向业务人员运营人员，实现从可见到可用；通过提供即系分析的功能，可通过简单的SQL、Python能力，进行数据分析
2） 三大核心优势
Dataphin产品经过了几年的沉淀，积累的丰富的产品能力，也形成了独特的产品核心优势：
三大核心优势
∙ 多样的计算引擎兼容，可利旧降本：除了支持大数据离线和实时计算主流引擎外，我们还会不断探索和集成更多的计算引擎，以满足不同客户的需求。我们会不断优化引擎的性能和稳定性，以提高计算效率和降低成本。在部署的平台底座上，我们也适配支持了不同的云平台，包括阿里云的公共云多租户、阿里云专有云、阿里云公共云VPC部署，IDC部署，以及其他云平台上进行部署。
∙ 资产化驱动构建数据：阿里巴巴多年的内部的实践，我们沉淀了一套完整的方法论，帮助数据资产的构建。这套方法论和产品也在100多家客户中进行了深度的验证。
∙ 价值导向、消费驱动的数据治理：我们将进一步完善数据治理体系，包括数据盘点、数据质量管理、数据安全与合规等方面。我们还将借鉴和应用更多的经验和案例，不断提升数据治理的水平和效果。同时，我们也会更加注重数据的价值和消费者需求，以提供更有针对性和可用性的数据治理解决方案。
