带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(2)

简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(2)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(1) https://developer.aliyun.com/article/1229668?groupCode=dataphin



2. 设计即研发,保障数据模型与代码的一致性


1) 规范建模


原本数据模型需要用限定详细的文档记录设计,再依此进行代码研发。经过多轮变更后设计文档与实际代码可能已南辕北辙。Dataphin 通过规范化、模块化的低代码配置,在设计的同时生成代码,有效的保证了模型与代码的一致性,提升数据质量。


在《Dataphin 核心功能:规划》一文中,讲到过数据建设分为四层,分别为主题域模型,概念模型,逻辑模型和分析模型。前两个模型已在规划一文中介绍过,本篇将继续展开逻辑模型和分析模型的讲解。


这两层都是属于 Dataphin 的智能研发模块,也称规范建模或逻辑化研发。除此之外,Dataphin 也支持传统通用的 SQL,MapReduce,Shell,Python 等研发方式,本文将重点解释智能研发模块。


2) 依据使用场景为数据分层


在介绍智能研发的逻辑模型和分析模型之前,先简单说下另一种维度的数据分层。当前,在数据中台领域,通用的做法是根据数据的使用场景和生产方式,将数据分为:


• ODS(Operational Data Source),按照字面理解是操作数据来源,通常的

叫法是贴源数据层。ODS 是从业务应用系统中同步过来的数据,一般不对数据做任何清洗加工、镜像复制,但是会保留多个版本,因为业务应用的数据一直在更新变化,ODS 会保留部分中间过程版本数据。


• CDM(Common Data Model),公共数据模型层,数据的清洗加工,建模都在这一层进行,智能研发也主要在这一层。


• ADS/ADM(Application Data Summary),应用数据层,面向具体业务场

景的数据研发。


image.png


Dataphin 中,规划到研发的流程一般是,规划(板块划分->主题域建模->概念建模)->项目创建->ODS(数据上云/数据同步)->CDM(逻辑建模->分析建模)->ADS。


3) 逻辑模型

根据上一节的介绍,现在假设规划->项目创建->ODS 均已完成,接下来就进入了逻辑建模。



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin

相关文章
|
SQL 人工智能 分布式计算
【产品升级】Dataphin V5.3 全新上线:四大能力升级,数据管理更统一、更智能!
V5.3版本,Dataphin推出众多重磅功能:例如,全新的智能应用:X-数据标准、X-数据安全以及智能应用反馈看板;更前沿的数据研发能力:利用SelectDB/Doris/StarRocks查询加速Hive和MaxCompute的离线引擎、全面支持Paimon格式的数据湖构建;资产运营和数据服务持续提效。
931 0
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
908 0
|
数据采集 运维 DataWorks
DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。
1267 0
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
779 0
|
运维 分布式计算 监控
Dataphin深度评测:企业级数据中台的智能实践利器
Dataphin是一款以全链路治理、智能提效和高兼容性为核心的企业级数据中台工具,特别适用于中大型企业的复杂数据场景。其流批一体能力、资源监控工具及行业化模板库可显著提升数据治理水平并降低运维成本。通过周期补数据功能,历史数据修复效率提升约60%;智能建模功能使建模时间缩短50%。尽管在数据源支持(如SAP HANA、DB2)和用户体验上仍有改进空间,但其强大的功能使其成为构建企业级数据中台的优选工具,尤其适合零售、金融等行业需要高效数据治理与实时分析的企业。
|
运维 Kubernetes 测试技术
应用多、交付快,研发运维怎么管?看云效+SAE 如何一站式破局
通过在云效中创建 SAE 服务连接并关联集群,团队可将应用环境直接部署到 SAE,实现从代码提交、镜像构建到 SAE 部署的自动化流水线。该集成打通了研发与运维的壁垒,特别适用于应用数量多、团队规模大、交付节奏快的组织,助力企业实现敏捷、可靠的持续交付。
|
SQL 数据管理 API
【产品升级】Dataphin V5.2 全新上线:四大能力升级,数据管理更统一、更智能!
Dataphin是阿里巴巴推出的数据建设与治理平台,提供全链路数据服务,助力企业构建标准化数据资产体系。V5.2版本新增“数据资产一站式运营平台”,引入X-数据管家、X-ETL等智能应用,提升数据运营效率。开发平台全面升级,支持多云复杂环境,强化API行级权限管控,保障数据安全。新版还适配国际化多时区场景,助力企业高效协同,释放数据价值。
812 9
|
SQL 数据采集 分布式计算
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin是一款智能数据建设与治理平台,基于阿里巴巴OneData方法论,提供从数据采集、建模研发到资产治理、数据服务的全链路智能化能力。它帮助企业解决数据口径混乱、质量参差等问题,构建标准化、资产化、服务化的数据中台体系。本文通过详细的操作步骤,介绍了如何使用Dataphin进行离线数仓搭建,包括规划数仓、数据集成、数据处理、运维补数据及验证数据等环节。尽管平台功能强大,但在部署文档更新、新手友好度及基础功能完善性方面仍有提升空间。未来可引入SQL智能纠错、自然语言生成报告等功能,进一步增强用户体验与数据治理效率。
1533 34
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin免费试用指南
为您提供Dataphin快速上手操作指南,一起轻松构建数据
870 67

相关产品

  • 智能数据建设与治理 Dataphin