Dataphin跨租户发布功能简介

简介: Dataphin提供两种项目模式:Basic简单模式和生产开发隔离的Dev-Prod模式。使用开发生产隔离的模式,可以提供代码及数据的生产开发环境隔离。然而在某些对安全性要求更高的场景(比如金融场景),客户需要对生产和开发环境进行物理的隔离。Dataphin的3.2新版本提供的跨租户发布功能也是为了满足该需求而发布。本文将介绍跨租户发布的基本流程及功能介绍

背景


Dataphin提供两种项目模式:Basic简单模式和生产开发隔离的Dev-Prod模式。使用开发生产隔离的模式,可以提供代码及数据的生产开发环境隔离。然而在某些对安全性要求更高的场景(比如金融场景),客户需要对生产和开发环境进行物理的隔离。Dataphin的3.2新版本提供的跨租户发布功能也是为了满足该需求而发布。

跨租户发布功能模块目前提供了以下的功能:

  1. 跨租户发布规划类对象,包括公共定义、数据板块、计算源、项目。数据源暂不支持跨租户发布。
  2. 跨租户发布数据架构的相关对象,包括主题域、业务对象、业务活动。
  3. 跨租户发布研发的对象,如集成任务、建模研发对象、指标研发对象、资源函数及实时离线代码任务。



跨租户发布的基本流程


源环境(导出发布文件)

image.png


目标环境(导入发布文件并发布对象)


image.png


发布前准备

角色设置-跨租户发布使用人


在使用跨租户发布功能前,我们需要给操作人设置相应的角色,赋予操作所需要的权限

  • 系统管理员:跨租户发布虽然是低频操作但操作可能与日常的研发操作冲突,因此在导出发布文件及进行导入对象的跨租户发布时,Dataphin需要进入“维护模式”。设置维护模式的操作人员需要具有系统管理员角色,或联系系统管理员设置维护模式。
  • 跨租户发布使用人:要给需要在源环境中导出发布文件及目标环境中导入发布文件及进行发布操作的成员添加该角色

image.png


跨租户发布设置


在开始导出跨租户发布文件或导入发布文件前,我们需要设置源环境和目标环境的发布文件保留时间及跨租户发布凭证。

  1. 发布文件保留时间:导出或导入的发布文件在Dataphin系统内保留时间。默认为180天。
  2. 跨租户发布凭证:Dataphin会校验源环境(导出时)和目标环境(导入时)的一致性。请注意保护该发布凭证避免泄漏。


在Dataphin中发布文件默认可存储180天,跨租户发布凭证可以自动生成也可以手动设置。

image.png


在源环境中导出发布文件

发布文件是在物理隔离的两套环境中存储和转移发布对象的介质。我们需要在源环境中导出发布文件,在目标环境中上传发布文件后,再发布对象。在本章节中,我们将向您展示如何导出发布文件。

进入维护模式

在开始导出之前,我们需要在源环境开启“跨租户发布”的维护模式。若您有系统管理员的角色,您可点击右上角的设置-启动维护/升级,选择“跨租户发布”,确定进入下一步后,可设置维护开始及预计持续时间,然后启动维护模式。启动维护模式后,仅具有“跨租户发布使用者”角色的成员可正常的使用dataphin,其他的人员则会被限制使用Dataphin。若您没有系统管理员的角色,您需要联系Dataphin的系统管理员先将系统设置为跨租户发布的维护模式。

image.png


image.png

导出发布文件


进入维护模式之后,就可以开始导出发布文件了。

image.png

在计算源导出时,由于开发环境与生产环境的连接可能相同,而认证信息往往是不同的,因此默认的情况下,我们建议保留连接信息,但是清除掉认证信息。当然用户也可以自主的选择是否保留连接信息与认证信息。


点击启动后,Dataphin就开始将租户内的所有的在生产环境的对象导出,并存放在文件系统中。导出完成后,可点击“下载”来下载发布文件到本地文件系统中,以备未来上传到目标系统。


退出维护模式

导出发布文件后我们就可以退出维护模式,这样用户可以正常的使用Dataphin进行研发了。

Demo:从源环境中导出发布文件


在目标环境中导入发布文件,并发布对象

我们已经在源环境中导出并下载了发布的文件,现在我们可以开始在目标环境导入发布文件,并将发布文件中的对象发布到目标环境的开发或生产环境中。


进入维护模式

同样的,在目标环境进行跨租户发布前,我们需要让Dataphin进入“跨租户发布”维护模式,以减少并发操作对跨租户发布的干扰,避免操作的冲突,以提升系统的稳定性。

若您有系统管理员的角色,您可点击右上角的设置-启动维护/升级,选择“跨租户发布”,确定进入下一步后,可设置维护开始及预计持续时间,然后启动维护模式。启动维护模式后,仅具有“跨租户发布使用者”角色的成员可正常的使用dataphin,其他的人员则会被限制使用Dataphin。若您没有系统管理员的角色,您需要联系Dataphin的系统管理员先将系统设置为跨租户发布的维护模式。

导入发布文件


现在我们可以开始上传在源环境中导出的发布文件,在目标环境导入了。在发布文件导入时,Dataphin会进行基础的校验,包括:

  • 发布文件的完整性及发布文件来源及目标环境的发布凭证的一致性
  • 来源环境及目标环境Dataphin系统版本的一致性
  • 数据源名称与数据源类型的一致性


image.png

通过校验后,即可启动导入待发布对象,我们就可以在待发布对象中查看发布对象了。接下来我们就可以做以下的发布动作:

  1. 跨租户发布规划类对象,包括公共定义、数据板块、计算源、项目。数据源暂不支持跨租户发布
  2. 跨租户发布数据架构的相关对象,包括主题域、业务对象、业务活动
  3. 跨租户发布研发的对象,如集成任务、建模研发对象、指标研发对象、资源函数及实时离线代码任务

发布规划类对象

在发布其他数据架构及研发对象前,我们需要先通过发布规划类对象完成目标环境的基础构建。在规划部分,我们需要按照顺序发布公共定义、数据板块、计算源、项目来依次发布。其中在发布计算源时,我们需要设置目标环境下的计算源的连接参数及认证信息,通过测试后即可发布成功。


image.png


发布数据架构的对象


基础环境构建好之后,我们就可以开始发布数据架构对象了,包括主题域、业务对象、业务活动。

image.png



发布研发对象

在数据架构的对象发布完成后,就可以开始发布研发对象了。


在发布对象时,若有依赖的物理表未创建,则需要在Dataphin中手动创建这些物理表。Dataphin提供了两种途径创建物理表:

  1. 使用手动任务的方式创建。通常我们会将建表预计维护在手动任务中。若在源环境中也采用了这种方式,则这些建表语句也会在跨租户发布的待发布列表中,我们就可以发布这些手动任务,在研发-运维-手动任务中执行这些手动任务创建物理表。
  2. 使用跨租户发布中的下载建表语句后,执行这些建表语句,创建物理表。您可选择需发布的对象,下载建表文件,并参考建表文件里的DDL语句创建物理表。您可在即席查询或其他工具中创建执行DDL创建物理表。

image.png


发布对象:创建好物理表后,您可开始发布对象。您可根据项目、提交人、提交时间、对象类型、变更类型、当前环境是否变更等条件筛选发布对象。发布这些对象会覆盖当前环境的对象。如发布为删除对象,则当前环境中的对象会被下线删除,需谨慎操作。发布动作可分为:

  1. 发布到开发:仅对Dev-Prod模式项目生效。发布到Dev环境。当前用户需项目的开发者或项目管理员权限。
  2. 发布到生产:对Basic模式和Dev-Prod模式项目生效。
  1. 发布到Basic环境。需Basic项目的开发者或项目管理员权限
  2. 发布到Dev-Prod环境的Prod环境。需Prod环境的运维或项目管理员权限。

发布完成后,你可以查看跨租户发布的发布记录,查看发布原因和详情。

image.png


退出维护模式

完成跨租户发布后后我们就可以退出维护模式,这样用户可以正常的使用Dataphin进行研发了。

Demo:在目标环境中发布对象



总结


以上就是跨租户发布的简单的介绍。未来,我们将持续完善跨租户发布的功能,支持数据源的跨租户发布,质量规则、安全扫描规则的跨租户发布,以及增量导出等功能。

相关文章
|
4月前
|
数据采集 SQL 数据可视化
Dataphin功能Tips系列(72)一键数据探查,打造高质量数据开发、分析流程
Dataphin数据探查功能助力高效识别数据质量问题,支持手动与自动两种探查模式。通过一键生成质量报告,快速检测空值、异常值、重复值等问题,全面掌握数据分布与健康状况,提升数据准备与分析准确性。
299 7
|
4月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
179 8
|
4月前
|
数据采集 监控 调度
Dataphin功能Tips系列(76)质量规则调度配置系列(3)-定时调度
Dataphin「定时调度」功能支持按需设定数据质量检测时间与频率,适用于定期检查数据质量问题的场景。提供手动配置和系统推荐两种方式,可自动执行规则并生成报告,帮助用户高效发现并处理问题。
159 9
|
4月前
|
数据采集 运维 调度
Dataphin功能Tips系列(75)质量规则调度配置系列(2)-固定任务触发调度
Dataphin“固定任务触发调度”支持在任务成功或运行前触发质量规则校验。适用于表数据来源任务固定的场景,通过绑定强规则可阻断下游任务,防止脏数据扩散,提升数据质量管控能力。
177 9
|
4月前
|
数据管理
Dataphin功能Tips系列(78)自定义属性助力资产精细化管理
Dataphin V5.3升级自定义属性功能,支持多选、超链接及引用系统属性,实现资产“归口部门”与组织架构同步、指标看板一键跳转等场景,提升资产配置灵活性与管理效率。
158 8
|
4月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
Dataphin通过“数据更新触发调度”功能,结合强规则校验,可在订单表数据更新时自动触发质量检查,异常时阻断下游任务,有效防止脏数据扩散,保障关键业务链路的数据准确性与稳定性。
192 8
|
4月前
|
安全 数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限通过“控制字段”实现精细化数据管控,有效避免传统字段权限过度开放带来的安全风险,提升权限管理效率与灵活性,满足复杂场景下的数据安全需求。
223 4
|
4月前
Dataphin功能Tips系列(77)如何实现数据资产上下架的精准管控与高效流转
在企业数据治理中,Dataphin支持按资产范围灵活配置上下架审批流程。通过标签、项目等条件圈选资产,绑定自定义审批模板,实现核心资产精细管控与大规模资产高效流转的平衡,提升数据运营效率。
167 1
|
5月前
|
数据采集 调度
Dataphin功能Tips系列(74)质量规则调度配置系列(1)-数据更新触发调度
在数据生产中,数据质量直接影响业务准确性。Dataphin 提供“数据更新触发调度”功能,结合强规则校验,可在数据更新时自动检测质量,异常时阻断下游任务,防止脏数据扩散,保障数据准确性与流程稳定。
119 0

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin