Dataphin产品核心功能大图(六)发布中心:生产和开发隔离模式下的保护伞

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
简介: Dataphin,用中台方法论打造企业级好数据。Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算平台支持及可拓展的开放能力,以适应各行业企业的平台技术架构和特定诉求。

在数据权限管控严格的研发流程下,常常会使用生产开发环境隔离的研发模式。Dataphin支持创建成对存在、互相关联的生产开发模式项目(Dev-Prod项目)。


项目中,研发人员通常需要完成代码编写、任务基础属性和调度属性配置、并基于开发环境的数据执行补数据测试,通过后再将任务提交至发布中心。发布审核人员接到发布申请后,结合任务配置详情评估是否配置合理,是否存在数据生产风险等,之后执行发布操作;发布成功的任务会在生产环境中生效并调度运行,而发布失败的任务不会更新至生产项目,以此实现开发和生产项目的数据隔离,保证数据质量。


一、发布中心概述

试想,若由发布人员对每个任务进行人工审核,工作量巨大且容易遗漏,对研发效率产生较大影响。那么理想的发布流程会是什么形式呢?

Dataphin发布中心提供了待发布任务概览、批量发布、基于系统规则的自动审核、发布记录概览、发布详情查看、发布失败原因提示及一键重新发布等功能;同时,管理中心的发布管控功能,可以自定义审核规则和策略,以满足个性化需求场景。发布人员只需评估哪些任务需要上线生产环境,批量勾选并一键执行发布即可,大大缩短了操作路径,并从系统角度提供了全面保障。

二、功能介绍

接下来,我们详细介绍一下发布中心的核心功能:


首先,在开发环境项目创建一个以“test”命名的代码任务,完成代码编写、调度配置、预编译等操作,点击操作栏的“提交”按钮,将任务提交到发布中心;提交成功后,点击任务操作栏的“去发布”按钮或者切换顶部导航为“发布”,即可进入发布中心:



1 待发布对象列表

在待发布对象列表页面,记录了当前项目已提交待发布的规范建模、数据处理和管道脚本数据对象。发布成功的数据对象将从待发布对象列表移除,并在发布记录列表中生成一条发布成功的记录;发布失败的数据对象将重新被记录在待发布对象列表,同时在发布记录列表中生成一条发布失败的记录,可以查看每条发布记录的发布详情。


  • 待发布对象列表概览:列表记录了对象名称、对象类型、调度节点ID、最近1次提交发布的版本号、本次提交变更类型、提交人及提交时间等信息。发布审核人员可以基于这些基本信息,初步评估任务变更情况,作为判断是否需要发布的依据。



  • 提交详情及提交记录查看:支持查看每个对象当前最新提交的版本详情及历史的提交记录,发布人员可以基于详情信息进一步评估发布该对象对生产项目可能产生的变更影响。同一个对象提交多次(每次提交均未发布)时会合并为一条待发布对象;点击当前版本号可展开版本详情,点击“版本记录”,可以查看该对象的变更记录及每次变更操作人、操作时间及变更原因备注。



  • 移除及跳转编辑待发布对象:如果任务提交后需要再次变更,为了防止变更前的内容被提前发布影响生产环境数据,您可以主动移除发布对象,并在修改完成后再次提交发布。提供“编辑”对象的快捷操作入口,点击将跳转到该任务在开发模块的详情页。



  • 发布及批量发布:确定可以发布后,您可以针对单个对象执行发布,也可以批量选中多个对象一次性发布。被选中的对象会按照依赖关系依次执行发布动作。点击确定发布后可自动跳转到发布记录列表,等待执行完成后,即可查看发布结果。


2 发布系统校验规则

不同发布对象有不同的校验规则。以SQL代码任务为例,会进行如下校验:


  • 上游依赖配置的正确性:如果存在自依赖或上游依赖配置不完整,则会阻断发布。
  • 节点输出名称是否唯一:节点输出名称是每个任务的全局唯一标识,重名校验可以避免协同操作带来的冲突问题。
  • 代码中引用的资产对象是否有相应权限:如是否有创建、删除表的权限,是否有往表中插入数据的权限等,防止权限泄露引发的数据安全问题。
  • SQL语法是否正确:若语法不正确,发布会被阻断,以免发布到生产环境后运行报错,影响下游数据产出。
  • 发布执行是否正常:如果任务逻辑过于复杂或一次性批量过多,可能会产生发布超时问题,在此处进行提醒。


每个对象只有所有系统校验规则均通过,才能发布成功,否则会在发布详情弹框进行错误提示,引导需要执行的下一步操作,如申请权限、修改代码逻辑等等。


3 发布记录列表

发布记录列表页面记录了每一次发布的详情及发布结果:


  • 发布记录概览:发布记录列表展示了每一次发布的执行详情,包括发布名称、发布对象、对象类型、发布版本、发布的变更类型、发布人及发布时间、发布状态等。
  • 发布详情查看:针对每条发布记录,可以查看发布详情,评估是否符合预期;尤其是发布失败的任务,在发布详情会给出失败原因提示,发布人员可以根据提示信息联系相关开发修改后重新发布。



  • 发布失败日志查看及一键重新发布:发布失败的对象,可以点击查看发布详情,发布详情中可以查看本次发布的日志记录,以获取更多的报错信息指导下一步操作;若问题已解决,可以一键重新发布,减少页面切换的操作成本。如果该对象已经被发布成功,则会提示“重新发布失败,最新版本已发布。”



  • 发布管控:如果您使用了变更管控中的发布管控功能,此处还会进行发布管控规则的校验,并将校验结果展示在“静态检查”部分。发布详情中会展示命中的管控规则及校验结果,针对校验失败的,还会展示在管控规则中配置的说明文案,以提醒发布人员。



发布作为生产开发隔离的研发模式中毕竟的一道环节,为生产数据的正确性和生产环境稳定性提供了移到前置保障,可以减少人工操作失误或流程不规范引发的问题,降低了对生产业务产生影响的可能性,为您的数据建设撑起一道保护伞。


三、结语

本期介绍了Dataphin的发布功能,包括如何执行发布、如何查看发布详情并处理异常等等,想要更完整了解Dataphin的发布中心,就快来申请试用体验吧~


Dataphin官网介绍:https://www.aliyun.com/product/dataphin

Dataphin公开咨询钉钉群:23381533


关联阅读:

Dataphin产品核心功能大图(一)规划: 企业数据体系应该怎么规划

Dataphin产品核心功能大图(二)集成:如何将业务系统的数据抽取汇聚到数据中台Dataphin功能大图(三)研发:设计即研发,规范建模保障数据模型与代码的一致性

Dataphin核心功能(四)安全:基于数据权限分类分级和敏感数据保护,保障企业数据安全

Dataphin核心功能(五)资源治理:每年节约数亿元,数据中台资源治理怎么做的?


了解更多产品详情:https://dp.alibaba.com/product/dataphin




阿里云数据中台是阿里巴巴数据中台唯一商业化输出,以数据中台方法论为内核,构建起”快、准、全、统、通“的智能大数据体系。

阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入:

  • - Dataphin,智能数据建设与治理
  • - Quick BI,数据可视化分析
  • - Quick Audience,一站式消费者运营和管理
  • - Quick Tracking,全域行为洞察
  • - Quick Stock, 智能货品运营
  • - Quick Decision,风控决策数字引擎

目前正对外输出系列解决方案,包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案等。

双二维码图.jpg

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
614 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
2月前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
152 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
2月前
|
运维 数据处理 调度
Dataphin功能Tips系列(30)-限流配置
某大型电商平台在每天的凌晨时段需要进行大量的数据处理任务,比如订单处理、库存同步、用户行为分析等。此外,平台还需要定期进行历史数据的补数据工作,以确保数据完整性和一致性。在进行补数据时,如果需要补的历史时间周期比较长,这些批处理任务会消耗大量的计算资源,导致批处理任务(如订单处理、库存同步)响应变慢甚至超时失败,这是我们应该怎么保障每天的批处理任务(订单处理、库存同步)的按时产出?
|
2月前
Dataphin功能Tips系列(27)-排他编辑锁
在实际开发中,为了避免多人同时编辑同一份代码而导致的问题,通常会采用锁机制来保护代码。然而,普通的锁机制有时并不能完全阻止其他开发人员在编辑时抢占锁,这使得用户可互相覆盖锁定状态,在dataphin中如何解决这一问题?
Dataphin功能Tips系列(27)-排他编辑锁
|
3月前
|
消息中间件 Kafka 搜索推荐
|
3月前
|
调度 存储 数据库
|
3月前
|
API 开发工具
|
3月前
|
API 搜索推荐

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin