Dataphin跨租户发布功能简介

简介: Dataphin提供两种项目模式:Basic简单模式和生产开发隔离的Dev-Prod模式。使用开发生产隔离的模式,可以提供代码及数据的生产开发环境隔离。然而在某些对安全性要求更高的场景(比如金融场景),客户需要对生产和开发环境进行物理的隔离。Dataphin的3.2新版本提供的跨租户发布功能也是为了满足该需求而发布。本文将介绍跨租户发布的基本流程及功能介绍

背景


Dataphin提供两种项目模式:Basic简单模式和生产开发隔离的Dev-Prod模式。使用开发生产隔离的模式,可以提供代码及数据的生产开发环境隔离。然而在某些对安全性要求更高的场景(比如金融场景),客户需要对生产和开发环境进行物理的隔离。Dataphin的3.2新版本提供的跨租户发布功能也是为了满足该需求而发布。

跨租户发布功能模块目前提供了以下的功能:

  1. 跨租户发布规划类对象,包括公共定义、数据板块、计算源、项目。数据源暂不支持跨租户发布。
  2. 跨租户发布数据架构的相关对象,包括主题域、业务对象、业务活动。
  3. 跨租户发布研发的对象,如集成任务、建模研发对象、指标研发对象、资源函数及实时离线代码任务。



跨租户发布的基本流程


源环境(导出发布文件)

image.png


目标环境(导入发布文件并发布对象)


image.png


发布前准备

角色设置-跨租户发布使用人


在使用跨租户发布功能前,我们需要给操作人设置相应的角色,赋予操作所需要的权限

  • 系统管理员:跨租户发布虽然是低频操作但操作可能与日常的研发操作冲突,因此在导出发布文件及进行导入对象的跨租户发布时,Dataphin需要进入“维护模式”。设置维护模式的操作人员需要具有系统管理员角色,或联系系统管理员设置维护模式。
  • 跨租户发布使用人:要给需要在源环境中导出发布文件及目标环境中导入发布文件及进行发布操作的成员添加该角色

image.png


跨租户发布设置


在开始导出跨租户发布文件或导入发布文件前,我们需要设置源环境和目标环境的发布文件保留时间及跨租户发布凭证。

  1. 发布文件保留时间:导出或导入的发布文件在Dataphin系统内保留时间。默认为180天。
  2. 跨租户发布凭证:Dataphin会校验源环境(导出时)和目标环境(导入时)的一致性。请注意保护该发布凭证避免泄漏。


在Dataphin中发布文件默认可存储180天,跨租户发布凭证可以自动生成也可以手动设置。

image.png


在源环境中导出发布文件

发布文件是在物理隔离的两套环境中存储和转移发布对象的介质。我们需要在源环境中导出发布文件,在目标环境中上传发布文件后,再发布对象。在本章节中,我们将向您展示如何导出发布文件。

进入维护模式

在开始导出之前,我们需要在源环境开启“跨租户发布”的维护模式。若您有系统管理员的角色,您可点击右上角的设置-启动维护/升级,选择“跨租户发布”,确定进入下一步后,可设置维护开始及预计持续时间,然后启动维护模式。启动维护模式后,仅具有“跨租户发布使用者”角色的成员可正常的使用dataphin,其他的人员则会被限制使用Dataphin。若您没有系统管理员的角色,您需要联系Dataphin的系统管理员先将系统设置为跨租户发布的维护模式。

image.png


image.png

导出发布文件


进入维护模式之后,就可以开始导出发布文件了。

image.png

在计算源导出时,由于开发环境与生产环境的连接可能相同,而认证信息往往是不同的,因此默认的情况下,我们建议保留连接信息,但是清除掉认证信息。当然用户也可以自主的选择是否保留连接信息与认证信息。


点击启动后,Dataphin就开始将租户内的所有的在生产环境的对象导出,并存放在文件系统中。导出完成后,可点击“下载”来下载发布文件到本地文件系统中,以备未来上传到目标系统。


退出维护模式

导出发布文件后我们就可以退出维护模式,这样用户可以正常的使用Dataphin进行研发了。

Demo:从源环境中导出发布文件


在目标环境中导入发布文件,并发布对象

我们已经在源环境中导出并下载了发布的文件,现在我们可以开始在目标环境导入发布文件,并将发布文件中的对象发布到目标环境的开发或生产环境中。


进入维护模式

同样的,在目标环境进行跨租户发布前,我们需要让Dataphin进入“跨租户发布”维护模式,以减少并发操作对跨租户发布的干扰,避免操作的冲突,以提升系统的稳定性。

若您有系统管理员的角色,您可点击右上角的设置-启动维护/升级,选择“跨租户发布”,确定进入下一步后,可设置维护开始及预计持续时间,然后启动维护模式。启动维护模式后,仅具有“跨租户发布使用者”角色的成员可正常的使用dataphin,其他的人员则会被限制使用Dataphin。若您没有系统管理员的角色,您需要联系Dataphin的系统管理员先将系统设置为跨租户发布的维护模式。

导入发布文件


现在我们可以开始上传在源环境中导出的发布文件,在目标环境导入了。在发布文件导入时,Dataphin会进行基础的校验,包括:

  • 发布文件的完整性及发布文件来源及目标环境的发布凭证的一致性
  • 来源环境及目标环境Dataphin系统版本的一致性
  • 数据源名称与数据源类型的一致性


image.png

通过校验后,即可启动导入待发布对象,我们就可以在待发布对象中查看发布对象了。接下来我们就可以做以下的发布动作:

  1. 跨租户发布规划类对象,包括公共定义、数据板块、计算源、项目。数据源暂不支持跨租户发布
  2. 跨租户发布数据架构的相关对象,包括主题域、业务对象、业务活动
  3. 跨租户发布研发的对象,如集成任务、建模研发对象、指标研发对象、资源函数及实时离线代码任务

发布规划类对象

在发布其他数据架构及研发对象前,我们需要先通过发布规划类对象完成目标环境的基础构建。在规划部分,我们需要按照顺序发布公共定义、数据板块、计算源、项目来依次发布。其中在发布计算源时,我们需要设置目标环境下的计算源的连接参数及认证信息,通过测试后即可发布成功。


image.png


发布数据架构的对象


基础环境构建好之后,我们就可以开始发布数据架构对象了,包括主题域、业务对象、业务活动。

image.png



发布研发对象

在数据架构的对象发布完成后,就可以开始发布研发对象了。


在发布对象时,若有依赖的物理表未创建,则需要在Dataphin中手动创建这些物理表。Dataphin提供了两种途径创建物理表:

  1. 使用手动任务的方式创建。通常我们会将建表预计维护在手动任务中。若在源环境中也采用了这种方式,则这些建表语句也会在跨租户发布的待发布列表中,我们就可以发布这些手动任务,在研发-运维-手动任务中执行这些手动任务创建物理表。
  2. 使用跨租户发布中的下载建表语句后,执行这些建表语句,创建物理表。您可选择需发布的对象,下载建表文件,并参考建表文件里的DDL语句创建物理表。您可在即席查询或其他工具中创建执行DDL创建物理表。

image.png


发布对象:创建好物理表后,您可开始发布对象。您可根据项目、提交人、提交时间、对象类型、变更类型、当前环境是否变更等条件筛选发布对象。发布这些对象会覆盖当前环境的对象。如发布为删除对象,则当前环境中的对象会被下线删除,需谨慎操作。发布动作可分为:

  1. 发布到开发:仅对Dev-Prod模式项目生效。发布到Dev环境。当前用户需项目的开发者或项目管理员权限。
  2. 发布到生产:对Basic模式和Dev-Prod模式项目生效。
  1. 发布到Basic环境。需Basic项目的开发者或项目管理员权限
  2. 发布到Dev-Prod环境的Prod环境。需Prod环境的运维或项目管理员权限。

发布完成后,你可以查看跨租户发布的发布记录,查看发布原因和详情。

image.png


退出维护模式

完成跨租户发布后后我们就可以退出维护模式,这样用户可以正常的使用Dataphin进行研发了。

Demo:在目标环境中发布对象



总结


以上就是跨租户发布的简单的介绍。未来,我们将持续完善跨租户发布的功能,支持数据源的跨租户发布,质量规则、安全扫描规则的跨租户发布,以及增量导出等功能。

相关文章
|
SQL 数据采集 运维
Dataphin V3.7 版本发布!通过国产化适配、数据研发体验优化、数据治理能力提升和标签平台,帮助企业加速构建数据中台
本次发布的V3.7版本中,Dataphin重点围绕资产建设平台的易用性及可交付性、资产治理平台的完备性以及基础平台的稳定性和开放性进行优化与升级。通过国产化支持适配、数据研发体验优化、数据治理能力提升和标签平台,帮助企业加速构建企业级数据中台,轻松拥有好数据!
Dataphin V3.7 版本发布!通过国产化适配、数据研发体验优化、数据治理能力提升和标签平台,帮助企业加速构建数据中台
|
运维 测试技术 双11
Dataphin发布中心特色功能介绍-发布管控
Dataphin的发布管控功能支持基于用户已经设定好的管控规则及生效策略,在任务发布前执行对应的检查,以判断任务是否符合发布条件。针对校验不通过的任务,根据规则配置详情,会阻断发布流程(强管控)或给出警告提示但不阻塞发布(若管控),以增强平台的稳定性保障。
Dataphin发布中心特色功能介绍-发布管控
|
SQL 数据采集 存储
Dataphin V3.6版本发布啦!多项能力升级,助力企业提升全链路数据治理能力!
Dataphin V3.6版本全新上线概念建模、基线运维、全域数据质量监控、数据标准标准落标映射等核心功能,为企业建设贯穿事前、事中、事后的全链路数据治理能力添砖加瓦,助力提升资产价值。
38356 1
Dataphin V3.6版本发布啦!多项能力升级,助力企业提升全链路数据治理能力!
|
大数据
Dataphin V3.5 新版发布!10项能力升级,覆盖多场景妙用,助力构建企业级数据中台
DataphinV3.5新版本强化了规范建模,以及全域全链路资产管理能力,显著提升数据治理水平,在计算引擎利旧降本基础上满足企业多元化数智应用需求,为企业上云用数赋智夯实数字化能力底座。
Dataphin V3.5 新版发布!10项能力升级,覆盖多场景妙用,助力构建企业级数据中台
|
SQL 存储 数据采集
Dataphin V3.5 新版本发布!10大能力项升级,覆盖多场景妙用,让智能数据建设与治理快速见效!
在满足多平台多引擎适配的基础上,DataphinV3.5新版本强化了规范建模,以及全域全链路资产管理能力,显著提升数据治理水平,在计算引擎利旧降本基础上满足企业多元化数智应用需求,为企业上云用数赋智夯实数字化能力底座。
Dataphin V3.5 新版本发布!10大能力项升级,覆盖多场景妙用,让智能数据建设与治理快速见效!
|
分布式计算 数据处理 MaxCompute
Dataphin V3.4 - 租户管理
在Dataphin V3.4中,我们发布了多租户的功能。本文将提供一个简单的视频演示如果做租户的管理。
Dataphin V3.4 - 自定义租户名称及Logo
通过设置企业自定义的租户的名称及Logo可以更好的传达企业的理念与价值,本文将通过一个短小的视频介绍该Dataphin自定义租户名称及Logo的功能。
Dataphin V3.4 - 自定义租户名称及Logo
|
SQL 数据采集 安全
Dataphin产品核心功能大图(六)发布中心:生产和开发隔离模式下的保护伞
Dataphin,用中台方法论打造企业级好数据。Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算平台支持及可拓展的开放能力,以适应各行业企业的平台技术架构和特定诉求。
Dataphin产品核心功能大图(六)发布中心:生产和开发隔离模式下的保护伞
|
数据采集 SQL 运维
Dataphin V2.9.5.3版本发布,进行语法拓展、进一步打通企业邮箱系统、支持海量节点一键补数
2021年10月,Dataphin发布V2.9.5.3版本,重点在数据集成、语法拓展、批量运维、告警渠道等模块进行了优化升级:
Dataphin V2.9.5.3版本发布,进行语法拓展、进一步打通企业邮箱系统、支持海量节点一键补数

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin