Dataphin产品核心功能大图(六)发布中心:生产和开发隔离模式下的保护伞

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin,用中台方法论打造企业级好数据。Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算平台支持及可拓展的开放能力,以适应各行业企业的平台技术架构和特定诉求。

在数据权限管控严格的研发流程下,常常会使用生产开发环境隔离的研发模式。Dataphin支持创建成对存在、互相关联的生产开发模式项目(Dev-Prod项目)。


项目中,研发人员通常需要完成代码编写、任务基础属性和调度属性配置、并基于开发环境的数据执行补数据测试,通过后再将任务提交至发布中心。发布审核人员接到发布申请后,结合任务配置详情评估是否配置合理,是否存在数据生产风险等,之后执行发布操作;发布成功的任务会在生产环境中生效并调度运行,而发布失败的任务不会更新至生产项目,以此实现开发和生产项目的数据隔离,保证数据质量。


一、发布中心概述

试想,若由发布人员对每个任务进行人工审核,工作量巨大且容易遗漏,对研发效率产生较大影响。那么理想的发布流程会是什么形式呢?

Dataphin发布中心提供了待发布任务概览、批量发布、基于系统规则的自动审核、发布记录概览、发布详情查看、发布失败原因提示及一键重新发布等功能;同时,管理中心的发布管控功能,可以自定义审核规则和策略,以满足个性化需求场景。发布人员只需评估哪些任务需要上线生产环境,批量勾选并一键执行发布即可,大大缩短了操作路径,并从系统角度提供了全面保障。

二、功能介绍

接下来,我们详细介绍一下发布中心的核心功能:


首先,在开发环境项目创建一个以“test”命名的代码任务,完成代码编写、调度配置、预编译等操作,点击操作栏的“提交”按钮,将任务提交到发布中心;提交成功后,点击任务操作栏的“去发布”按钮或者切换顶部导航为“发布”,即可进入发布中心:



1 待发布对象列表

在待发布对象列表页面,记录了当前项目已提交待发布的规范建模、数据处理和管道脚本数据对象。发布成功的数据对象将从待发布对象列表移除,并在发布记录列表中生成一条发布成功的记录;发布失败的数据对象将重新被记录在待发布对象列表,同时在发布记录列表中生成一条发布失败的记录,可以查看每条发布记录的发布详情。


  • 待发布对象列表概览:列表记录了对象名称、对象类型、调度节点ID、最近1次提交发布的版本号、本次提交变更类型、提交人及提交时间等信息。发布审核人员可以基于这些基本信息,初步评估任务变更情况,作为判断是否需要发布的依据。



  • 提交详情及提交记录查看:支持查看每个对象当前最新提交的版本详情及历史的提交记录,发布人员可以基于详情信息进一步评估发布该对象对生产项目可能产生的变更影响。同一个对象提交多次(每次提交均未发布)时会合并为一条待发布对象;点击当前版本号可展开版本详情,点击“版本记录”,可以查看该对象的变更记录及每次变更操作人、操作时间及变更原因备注。



  • 移除及跳转编辑待发布对象:如果任务提交后需要再次变更,为了防止变更前的内容被提前发布影响生产环境数据,您可以主动移除发布对象,并在修改完成后再次提交发布。提供“编辑”对象的快捷操作入口,点击将跳转到该任务在开发模块的详情页。



  • 发布及批量发布:确定可以发布后,您可以针对单个对象执行发布,也可以批量选中多个对象一次性发布。被选中的对象会按照依赖关系依次执行发布动作。点击确定发布后可自动跳转到发布记录列表,等待执行完成后,即可查看发布结果。


2 发布系统校验规则

不同发布对象有不同的校验规则。以SQL代码任务为例,会进行如下校验:


  • 上游依赖配置的正确性:如果存在自依赖或上游依赖配置不完整,则会阻断发布。
  • 节点输出名称是否唯一:节点输出名称是每个任务的全局唯一标识,重名校验可以避免协同操作带来的冲突问题。
  • 代码中引用的资产对象是否有相应权限:如是否有创建、删除表的权限,是否有往表中插入数据的权限等,防止权限泄露引发的数据安全问题。
  • SQL语法是否正确:若语法不正确,发布会被阻断,以免发布到生产环境后运行报错,影响下游数据产出。
  • 发布执行是否正常:如果任务逻辑过于复杂或一次性批量过多,可能会产生发布超时问题,在此处进行提醒。


每个对象只有所有系统校验规则均通过,才能发布成功,否则会在发布详情弹框进行错误提示,引导需要执行的下一步操作,如申请权限、修改代码逻辑等等。


3 发布记录列表

发布记录列表页面记录了每一次发布的详情及发布结果:


  • 发布记录概览:发布记录列表展示了每一次发布的执行详情,包括发布名称、发布对象、对象类型、发布版本、发布的变更类型、发布人及发布时间、发布状态等。
  • 发布详情查看:针对每条发布记录,可以查看发布详情,评估是否符合预期;尤其是发布失败的任务,在发布详情会给出失败原因提示,发布人员可以根据提示信息联系相关开发修改后重新发布。



  • 发布失败日志查看及一键重新发布:发布失败的对象,可以点击查看发布详情,发布详情中可以查看本次发布的日志记录,以获取更多的报错信息指导下一步操作;若问题已解决,可以一键重新发布,减少页面切换的操作成本。如果该对象已经被发布成功,则会提示“重新发布失败,最新版本已发布。”



  • 发布管控:如果您使用了变更管控中的发布管控功能,此处还会进行发布管控规则的校验,并将校验结果展示在“静态检查”部分。发布详情中会展示命中的管控规则及校验结果,针对校验失败的,还会展示在管控规则中配置的说明文案,以提醒发布人员。



发布作为生产开发隔离的研发模式中毕竟的一道环节,为生产数据的正确性和生产环境稳定性提供了移到前置保障,可以减少人工操作失误或流程不规范引发的问题,降低了对生产业务产生影响的可能性,为您的数据建设撑起一道保护伞。


三、结语

本期介绍了Dataphin的发布功能,包括如何执行发布、如何查看发布详情并处理异常等等,想要更完整了解Dataphin的发布中心,就快来申请试用体验吧~


Dataphin官网介绍:https://www.aliyun.com/product/dataphin

Dataphin公开咨询钉钉群:23381533


关联阅读:

Dataphin产品核心功能大图(一)规划: 企业数据体系应该怎么规划

Dataphin产品核心功能大图(二)集成:如何将业务系统的数据抽取汇聚到数据中台Dataphin功能大图(三)研发:设计即研发,规范建模保障数据模型与代码的一致性

Dataphin核心功能(四)安全:基于数据权限分类分级和敏感数据保护,保障企业数据安全

Dataphin核心功能(五)资源治理:每年节约数亿元,数据中台资源治理怎么做的?


了解更多产品详情:https://dp.alibaba.com/product/dataphin




阿里云数据中台是阿里巴巴数据中台唯一商业化输出,以数据中台方法论为内核,构建起”快、准、全、统、通“的智能大数据体系。

阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入:

  • - Dataphin,智能数据建设与治理
  • - Quick BI,数据可视化分析
  • - Quick Audience,一站式消费者运营和管理
  • - Quick Tracking,全域行为洞察
  • - Quick Stock, 智能货品运营
  • - Quick Decision,风控决策数字引擎

目前正对外输出系列解决方案,包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案等。

双二维码图.jpg

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
107 8
|
3月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
359 0
|
1月前
|
SQL 运维 关系型数据库
【产品升级】Dataphin V5.0版本发布:助力出海业务、增全量一体集成、异步调用API等更多功能等你发现
Dataphin是瓴羊推出的智能数据建设与治理平台,基于阿里巴巴内部实践,提供一站式数据建设与治理能力。V5.0版本研发新增支持Databricks作为离线计算引擎、支持MySQL数据库一键增全量同步、支持管理Hudi、Delta Lake表等;资产运营与消费持续提效,支持批量编辑目录名称及描述、Quick BI仪表板的上架管理等功能,增加资产可用性与盘点效率。
146 8
|
24天前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
在数据生产中,数据质量直接影响业务准确性。Dataphin 提供“数据更新触发调度”功能,结合强规则校验,可在数据更新时自动检测质量,异常时阻断下游任务,防止脏数据扩散,保障数据准确性与流程稳定。
|
24天前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
|
24天前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
在数据开发与分析前期,掌握数据质量与分布情况至关重要。Dataphin提供高效的数据探查功能,支持手动与自动探查方式,一键生成数据质量报告,帮助用户快速发现空值、异常值、重复值等问题,提升数据准备与分析准确性。
|
24天前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
在企业数据治理中,数据资产规模庞大、字段繁多,手动录入效率低且易出错。Dataphin推出「X-数据管家」,利用大模型智能生成标签、描述及字段类型等信息,支持一键批量上架,大幅提升资产运营效率。
|
2月前
|
BI 数据安全/隐私保护
Dataphin功能Tips系列(69)数据资产如何快捷对接Qucik BI进行分析消费
QuickBI与Dataphin集成,实现数据权限统一管理,简化用户从权限申请到仪表板创建的流程,提升数据消费效率,保障数据安全,加速数据价值转化。
|
3月前
|
数据采集 数据挖掘 BI
Dataphin功能Tips系列(67)如何将BI报表纳入资产管理
Dataphin通过采集BI报表元数据,实现报表资产的信息完善与上架管理,助力企业构建统一的数据资产门户。以QuickBI为例,介绍如何配置应用系统、创建采集任务,并实现报表资产的统一管理与跳转分析。
|
3月前
|
SQL 数据可视化
Dataphin功能Tips系列(66)- 如何配置技术指标关系图
Dataphin通过可视化技术指标关系图,帮助业务人员快速理解指标加工逻辑。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin