带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

简介: 带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)

《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(3) https://developer.aliyun.com/article/1229662?groupCode=dataphin



3. 发布中心:生产和开发隔离模式下的保护伞


在数据的研发流程下,常常使用生产环境离的研发模式。Dataphin 支持建成对在、的生产发模式Dev-Prod )。


中,研发通常需要完成代码务基础性和配置、并基于开环境的数据数据后再务提发布中心。


发布核人员接发布申请配置详配置合理,是存在数据生产风险等,之行发布作。发布成务会在生产环境中生调度运行,而发布失败务不会更新生产,以此实现发和生产的数据离,保数据质量。


1) Dataphin 发布中心能力概述


由发布,工作量遗漏,对研发效率产生较那么的发布流程会是什么呢?


Dataphin 发布中心提供了发布量发布、基于系统规则的自核、发布记录、发布查看、发布失败提示及一重新发布等功能。同时,管理中心的发布管能,可以自定义规则和略,以满足个性化需求场景。发布员只哪些需要上线生产环境并一行发布可,大缩短作路,并从系统角度提供了全面保障


image.png


a) 待发布对象列表


发布对象列页面,记录目已发布的规建模、数据处理和管道脚本数据对。发布成的数据对将从发布对象列表移除,并在发布记录列表中生成一发布成记录。发布失败的数据对将重新被记录发布对象列表,同时在发布记录中生成一发布失败记录,可以查看发布记录的发布详情


待发布对象列表概览表记录了对象名、对型、ID、最近一发布的版变更型、提及提信息。发布审核人可以基于这些基信息务变更情况,作为需要发布的据。


提交详情及提交记录查看支持查看个对最新提的版及历史的提交记录,发布可以基于信息一步发布对生产目可能产生的变更


移除及跳转编辑待发布对象务提交后需要变更,为了变更前的内发布生产环境数据,可以主动移除发布对,并在改完成后再发布。


发布及批量发布确定可以发布,可以个对行发布,也可以批量中多个对性发布。


b) 发布系统校验规则


不同发布对有不同的验规则。以 SQL 代码任务为,会验:


游依配置的正性。

输出一。

代码引用的资产对

SQL 法是

发布行是


个对有系统验规则过,能发布成则会在发布情弹框进提示,引导需要行的下一步作,申请改代码逻辑等等。


c) 发布记录列表

发布记录页面记录发布的及发布结果:


发布记录概览:发布记录示了发布的包括发布称、发布对、对型、发布版、发布的变更型、发布及发布时、发布状态等。


发布详情查看发布记录,可以查看发布期;尤其是发布失败务,在发布失败提示,发布可以根据提示信息重新发布。


发布失败日志查看及一键重新发布:发布失败的对,可以查看发布情,发布中可以查看发布的日志记录,以获取更多的错信息指导下一步操作。


发布管控使用了变更管中的发布管能,此处行发布管控规则的验,发布中会中的管规则及果,失败的,还示在管规则中配置说明,以提发布


发布作为生产的研发模式中经的一道环节,为生产数据的正确性和生产环境性提供了到前保障,可以减少失误流程不规发的问题,降了对生产业务产生的可能性,为数据建设撑起道保护



《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——二、Dataphin 演进之路:产品大图及核心功能详解——(二)研发:集成、建模、发布、运维(5) https://developer.aliyun.com/article/1229660?groupCode=dataphin


相关文章
|
6月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
405 2
|
7月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
254 8
|
7月前
|
数据采集 运维 监控
运维靠经验拍脑袋?不如上车:构建“数据驱动”的智能决策系统
运维靠经验拍脑袋?不如上车:构建“数据驱动”的智能决策系统
242 0
|
8月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
640 0
|
9月前
|
运维 安全 关系型数据库
【产品升级】Dataphin V5.1版本发布:跨云数据集成、指标管理、平台运维带来重大更新!
V5.1版本新增多项功能:对接AWS生态(支持Amazon EMR、Redshift等),强化研发技术支撑(如API认证升级、全量任务隔离),完善运营消费链路(新增业务指标管理、指标关系图),提升平台综合能力(自定义菜单、缩短升级停机时间)。这些功能助力企业实现高效数据治理与分析,未来还将拓展智能化与国际化支持。
496 0
|
6月前
|
运维 Kubernetes 测试技术
应用多、交付快,研发运维怎么管?看云效+SAE 如何一站式破局
通过在云效中创建 SAE 服务连接并关联集群,团队可将应用环境直接部署到 SAE,实现从代码提交、镜像构建到 SAE 部署的自动化流水线。该集成打通了研发与运维的壁垒,特别适用于应用数量多、团队规模大、交付节奏快的组织,助力企业实现敏捷、可靠的持续交付。
|
6月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
229 0
|
5月前
|
存储 运维 监控
57_大模型监控与运维:构建稳定可靠的服务体系
随着大语言模型(LLM)技术的快速发展和广泛应用,如何确保模型在生产环境中的稳定运行、高效服务和安全合规已成为企业和开发者面临的关键挑战。2025年,大模型服务已从实验室走向各行各业的核心业务流程,其运维复杂度也随之呈指数级增长。与传统软件系统不同,大模型服务具有参数规模庞大、计算密集、行为不确定性高等特点,这使得传统的运维监控体系难以满足需求。
1061 0
|
11月前
|
SQL 数据采集 分布式计算
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin是一款智能数据建设与治理平台,基于阿里巴巴OneData方法论,提供从数据采集、建模研发到资产治理、数据服务的全链路智能化能力。它帮助企业解决数据口径混乱、质量参差等问题,构建标准化、资产化、服务化的数据中台体系。本文通过详细的操作步骤,介绍了如何使用Dataphin进行离线数仓搭建,包括规划数仓、数据集成、数据处理、运维补数据及验证数据等环节。尽管平台功能强大,但在部署文档更新、新手友好度及基础功能完善性方面仍有提升空间。未来可引入SQL智能纠错、自然语言生成报告等功能,进一步增强用户体验与数据治理效率。
1084 34
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
|
SQL 分布式计算 Apache
Dataphin x Iceberg 开箱即用的数据湖治理解决方案
Apache Iceberg作为新一代开源数据湖表格式,具备ACID事务、时间旅行和高效Schema演化等能力。Dataphin已完成与Iceberg的深度集成,通过全链路适配与性能优化,为企业提供开箱即用的数据湖治理方案,涵盖数据源支持、离线与实时数据集成、数据研发等核心模块,助力构建现代化数据架构。
427 0

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin