带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)

简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(2) https://developer.aliyun.com/article/1229664?groupCode=dataphin



4) 属性与约束


概念建模中,实体,配置实体的关系,整个业务的就已清晰的数据中台。是不同实体名字不同,关系不一样之外,有哪些区别呢?


和会什么区别,这辑建模来解题。辑建模的核心工作是理实体的即给实体性,并确属性的业务约束,一个实体有性(也),这些性可以实体。


属性按照类型,可以分为


标识属性实体的个具体实一标。实体是一个象概念,实体实例是具体事物比如是一个实体。一36 色、编为 6901234是一个实。一个实体可以有多个标性,ID品编


关联实体属性,实体的可能也是一个实体。比如品的(货主性,是一个立的实体。


描述属性实体一个维度的的一性,实体中的性,一般文本字符类型,如名


度量属性个维度数量程度的性,性。一是数值型,额、价


时间属性描述实体个行为的时


据实体的型(业务对象或业务),个实体有一些必须有的性,即关键性:


业务对至少有一个标性,据业务可以加其性。

业务必须有一个关实体性来标识活体(发起人比如活动中的买家),一个多个时间属性来


实体丰富性之不能完全反映业务现实,还需要性加一些约束规则:


值规则,约束属性的约束实体实性的具体内的有效性。

值,色和个。


0~150

一性,性外,其性也可能有一性求。

性,不允许性出现值。


实例化


定义好逻辑模型数据模型的过程是模型的实化,浅白是将物理的数据到逻辑模型。实化的数据来源是 ODS 数据,下,ODS 数据需要做一些外处理,将其按照的规则注册挂载到逻辑模型。Dataphin 将根生成计算代码务,并基于约束生成数据质量校验规则。到这一步,完成了辑模型的建。


5) 分析模型


辑模型,基于辑模型可以分析模型,下图中的业务分析模型。


image.png


分析模型的标是生成业务分析中的标,标,保障这些指标的可性和可维性。最终使用解为四个基本组成部


计周

原子指

业务限定


描述可能让人无法准分析模型是什么,可以参照下图,从统 SQL视角来理解:


image.png


分析建模的步是,统计周期设->原子指/业务限定配置->配置所有配置完成,系统将自生成计算代码务。


Dataphin 过规化、模化的低代码配置式研发,有了模型与代码的一致性。



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(4) https://developer.aliyun.com/article/1229661?groupCode=dataphin

相关文章
|
9月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
1167 43
|
8月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
464 2
|
9月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
564 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
10月前
|
数据采集 运维 DataWorks
DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。
|
测试技术 数据处理 调度
Dataphin功能Tips系列(57)「预览」vs「运行」:离线集成的神奇按钮
在数据开发过程中,使用Dataphin处理离线集成任务时,可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能,可快速验证处理逻辑而不影响目标表;对于需要调度的任务,担心资源占用和耗时超出预期时,可使用「运行」功能进行全流程测试,评估实际耗时与资源消耗。「预览」适合逻辑验证,「运行」用于真实环境模拟,两者结合助力高效开发与调试。
322 5
|
SQL Java 关系型数据库
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
382 5
|
11月前
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
565 0
|
8月前
|
人工智能 Java API
Java与大模型集成实战:构建智能Java应用的新范式
随着大型语言模型(LLM)的API化,将其强大的自然语言处理能力集成到现有Java应用中已成为提升应用智能水平的关键路径。本文旨在为Java开发者提供一份实用的集成指南。我们将深入探讨如何使用Spring Boot 3框架,通过HTTP客户端与OpenAI GPT(或兼容API)进行高效、安全的交互。内容涵盖项目依赖配置、异步非阻塞的API调用、请求与响应的结构化处理、异常管理以及一些面向生产环境的最佳实践,并附带完整的代码示例,助您快速将AI能力融入Java生态。
1380 12
|
8月前
|
运维 Kubernetes 测试技术
应用多、交付快,研发运维怎么管?看云效+SAE 如何一站式破局
通过在云效中创建 SAE 服务连接并关联集群,团队可将应用环境直接部署到 SAE,实现从代码提交、镜像构建到 SAE 部署的自动化流水线。该集成打通了研发与运维的壁垒,特别适用于应用数量多、团队规模大、交付节奏快的组织,助力企业实现敏捷、可靠的持续交付。
|
8月前
|
SQL 运维 关系型数据库
【产品升级】Dataphin V5.0版本发布:助力出海业务、增全量一体集成、异步调用API等更多功能等你发现
Dataphin是瓴羊推出的智能数据建设与治理平台,基于阿里巴巴内部实践,提供一站式数据建设与治理能力。V5.0版本研发新增支持Databricks作为离线计算引擎、支持MySQL数据库一键增全量同步、支持管理Hudi、Delta Lake表等;资产运营与消费持续提效,支持批量编辑目录名称及描述、Quick BI仪表板的上架管理等功能,增加资产可用性与盘点效率。
395 8

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin