带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(2)

简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(2)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(1) https://developer.aliyun.com/article/1229668?groupCode=dataphin



2. 设计即研发,保障数据模型与代码的一致性


1) 规范建模


原本数据模型需要用限定文档记录再依代码研发。经过多轮变更计文档与实际代码可能南辕北辙Dataphin 过规化、模化的低代码配置,在设的同时生成代码,有了模型与代码的一性,提升数据质量。


Dataphin 能:规划中,过数据建设为四层,题域模型,概念模型,辑模型和分析模型。个模型在规划一介绍过,本篇将续展开逻辑模型和分析模型的解。


Dataphin 能研发模,也建模或逻辑化研发。除此之外,Dataphin 支持通用SQLMapReduceShellPython 等研发方式,本文将重能研发模


2) 依据使用场景为数据分层


介绍能研发的辑模型和分析模型之,先维度的数据分层。当,在数据中台领通用的做法是据数据的使用场景和生产方式,将数据分为:


ODSOperational Data Source按照面理解是作数据来源,通常

法是贴源数据层。ODS 是从业务应系统中同步过来的数据,一般不对数据加工、镜像是会多个版为业务应的数据一直在更新变化,ODS 过程版数据。


CDMCommon Data Model公共数据模型层,数据的加工,建模都在这一层行,能研发也主要在这一层。


ADS/ADMApplication Data Summary,应数据层,面向具体业务场

景的数据研发。


image.png


Dataphin 中,规划研发的流程一是,规划(->建模->概念建模)->->ODS(数据上云/数据同步)->CDM辑建模->分析建模)->ADS


3) 逻辑模型

介绍,现在设规划->->ODS 完成,下来就进入了逻辑建模。



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin

相关文章
|
8月前
|
机器学习/深度学习 运维 监控
别让运维只会“救火”——用数据点燃业务增长的引擎
别让运维只会“救火”——用数据点燃业务增长的引擎
293 12
|
9月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
499 2
|
9月前
|
机器学习/深度学习 存储 运维
数据别乱跑!聊聊智能运维如何减少数据丢失风险
数据别乱跑!聊聊智能运维如何减少数据丢失风险
224 4
|
11月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
10月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
901 0
|
11月前
|
SQL 存储 运维
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
368 0
|
12月前
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
600 0
|
9月前
|
运维 监控 机器人
别等出事才救火:实时监控数据才是运维的救命稻草
别等出事才救火:实时监控数据才是运维的救命稻草
261 8
|
9月前
|
运维 Kubernetes 测试技术
应用多、交付快,研发运维怎么管?看云效+SAE 如何一站式破局
通过在云效中创建 SAE 服务连接并关联集群,团队可将应用环境直接部署到 SAE,实现从代码提交、镜像构建到 SAE 部署的自动化流水线。该集成打通了研发与运维的壁垒,特别适用于应用数量多、团队规模大、交付节奏快的组织,助力企业实现敏捷、可靠的持续交付。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin