带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin



3. 发布中心:生产和开发隔离模式下的保护伞


在数据的研发流程下,常常使用生产环境离的研发模式。Dataphin 支持建成对在、的生产发模式Dev-Prod )。


中,研发通常需要完成代码务基础性和配置、并基于开环境的数据数据后再务提发布中心。


发布核人员接发布申请配置详配置合理,是存在数据生产风险等,之行发布作。发布成务会在生产环境中生调度运行,而发布失败务不会更新生产,以此实现发和生产的数据离,保数据质量。


1) Dataphin 发布中心能力概述


由发布,工作量遗漏,对研发效率产生较那么的发布流程会是什么呢?


Dataphin 发布中心提供了发布量发布、基于系统规则的自核、发布记录、发布查看、发布失败提示及一重新发布等功能。同时,管理中心的发布管能,可以自定义规则和略,以满足个性化需求场景。发布员只哪些需要上线生产环境并一行发布可,大缩短作路,并从系统角度提供了全面保障


image.png


a) 待发布对象列表


发布对象列页面,记录目已发布的规建模、数据处理和管道脚本数据对。发布成的数据对将从发布对象列表移除,并在发布记录列表中生成一发布成记录。发布失败的数据对将重新被记录发布对象列表,同时在发布记录中生成一发布失败记录,可以查看发布记录的发布详情


待发布对象列表概览表记录了对象名、对型、ID、最近一发布的版变更型、提及提信息。发布审核人可以基于这些基信息务变更情况,作为需要发布的据。


提交详情及提交记录查看支持查看个对最新提的版及历史的提交记录,发布可以基于信息一步发布对生产目可能产生的变更


移除及跳转编辑待发布对象务提交后需要变更,为了变更前的内发布生产环境数据,可以主动移除发布对,并在改完成后再发布。


发布及批量发布确定可以发布,可以个对行发布,也可以批量中多个对性发布。


b) 发布系统校验规则


不同发布对有不同的验规则。以 SQL 代码任务为,会验:


游依配置的正性。

输出一。

代码引用的资产对

SQL 法是

发布行是


个对有系统验规则过,能发布成则会在发布情弹框进提示,引导需要行的下一步作,申请改代码逻辑等等。


c) 发布记录列表

发布记录页面记录发布的及发布结果:


发布记录概览:发布记录示了发布的包括发布称、发布对、对型、发布版、发布的变更型、发布及发布时、发布状态等。


发布详情查看发布记录,可以查看发布期;尤其是发布失败务,在发布失败提示,发布可以根据提示信息重新发布。


发布失败日志查看及一键重新发布:发布失败的对,可以查看发布情,发布中可以查看发布的日志记录,以获取更多的错信息指导下一步操作。


发布管控使用了变更管中的发布管能,此处行发布管控规则的验,发布中会中的管规则及果,失败的,还示在管规则中配置说明,以提发布


发布作为生产的研发模式中经的一道环节,为生产数据的正确性和生产环境性提供了到前保障,可以减少失误流程不规发的问题,降了对生产业务产生的可能性,为数据建设撑起道保护



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(5) https://developer.aliyun.com/article/1229660?groupCode=dataphin


相关文章
|
11天前
|
弹性计算 运维
新 企业级ECS集群运维管理训练营 打卡学习领好礼
新 企业级ECS集群运维管理训练营 打卡学习领好礼
48 3
|
1月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
581 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
17天前
|
运维 监控 中间件
数据中心运维监控系统产品价值与优势
华汇数据运维监控系统面向IT基础架构及IT支撑平台的监控和运维管理,包含监测、分析、展现和告警。监控范围涵盖了网络设备、主机系统、数据库、中间件和应用软件等。
40 4
|
30天前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
137 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
4月前
|
SQL 关系型数据库 MySQL
如何在Dataphin中构建Flink+Paimon流式湖仓方案
当前大数据处理工业界非常重要的一个大趋势是一体化,尤其是湖仓一体架构。与过去分散的数据仓库和数据湖不同,湖仓一体架构通过将数据存储和处理融为一体,不仅提升了数据访问速度和处理效率,还简化了数据管理流程,降低了资源成本。企业可以更轻松地实现数据治理和分析,从而快速决策。paimon是国内开源的,也是最年轻的成员。 本文主要演示如何在 Dataphin 产品中构建 Flink+Paimon 的流式湖仓方案。
7770 10
如何在Dataphin中构建Flink+Paimon流式湖仓方案
|
4月前
|
弹性计算 人工智能 运维
OS Copilot产品体验测评:运维辅助的革新
阿里云推出基于大模型的Linux智能助手OS Copilot,专为Alibaba Cloud Linux设计,旨在通过智能化功能革新操作系统体验。
142 35
OS Copilot产品体验测评:运维辅助的革新
|
4月前
|
SQL 运维 安全
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
1933 2
【产品升级】Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
3月前
|
运维 监控 安全
构建高效自动化运维系统:DevOps在企业级应用的实现路径
【7月更文挑战第54天】在当今IT领域,DevOps作为一种文化和实践,旨在弥合开发与运维之间的鸿沟,以实现更快速、更可靠的产品交付。本文将深入探讨在企业环境中如何构建一个高效的自动化运维系统,不仅涵盖理论框架,还包括具体实施步骤和最佳实践。通过持续集成(CI)、持续部署(CD)、基础设施即代码(IaC)等关键概念的融合运用,文章旨在为读者提供一个清晰的指导,以便在其组织中落实DevOps策略,并实现运维效率的显著提升。
|
3月前
|
运维 分布式计算 DataWorks
DataWorks产品使用合集之运维中心中的运行日志可以保留多久
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
运维 分布式计算 DataWorks
DataWorks产品使用合集之运维中心无法打开该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之运维中心无法打开该怎么办

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin