不想跨集群传输数据?Dataphin自定义集群帮你搞定!

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin V3.13版本新增自定义注册调度集群功能。通过自定义注册不同集群并指定关联租户,可实现资源隔离管控;通过指定集成任务运行使用的资源组,可减少跨集群数据传输场景,降低流量带宽消耗,提高同步效率。

应用场景简介

当企业使用一套统一的数据开发与治理平台,但是业务形态比较复杂、或者有跨平台、境业务的时候,尝尝会有以下场景:

  • 开发平台部署在本地机房,需要将某个云上业务库A的数据集成到与A在同一Region下的业务库B
  • 由于业务形态不同,每个部门使用的数据库分布于不同的云平台,且较少有跨部门数据传输的场景,希望部门内数据同步时,尽可能降低调度资源消耗,提升单部门内部的数据同步效率

以上场景都面临一个相同的问题:数据所在集群与数据集成开发平台部署使用的集群不同,因此即使数据同步的来源和目标在同一个集群,也需要进行跨集群数据传输;不仅造成额外的资源消耗,也影响同步效率。

如何才能解决这个问题呢?Dataphin V3.13 版本重磅推出“自定义注册调度集群”的功能,只需要进行几步简单配置,就可以将其他集群注册到 Dataphin 上,并且可以使用急群众的指定机器资源作为调度资源进行数据同步,从而避免跨集群数据传输。

下面,我们就来看一下 Dataphin 如何自定义注册调度集群吧。

功能概览

1、注册调度集群

集群注册主要分为两步:

Step 1:首先在 Dataphin 平台中填写集群基本信息,包括:名称、负责人、描述、关联租户。仅关联租户可以使用该集群的资源创建自定义资源组,从而实现资源隔离管控。

Step 2:基本信息配置完成后,您还需要在指定集群完成“应用部署安装”等连接配置,注册的调度集群才可用。Dataphin 为您提供了集群链接配置引导:

  • 机器打标:在需要注册的集群中,通过机器打标的方式指定集群中可用于 Dataphin调度的机器,后续使用该集群资源组的任务仅会在已标记的机器上执行。您可快捷复制打标命令模板,替换参数后再执行。
  • 应用部署:下载每个已经添加到 Dataphin 的集群对应的描述文件,并联系部署运维人员或集群管理员在目标集群执行命令完成应用的安装与授权。安装成功后,注册的集群可向Dataphin集群上报有指定标签的机器资源信息,用于任务调度。

2、调度集群管理

元仓租户可以统一查看并管理所有已经注册到 Dataphin 的调度集群,包括:编辑集群信息、查看每个集群的可用资源量和集群状态等等。此外,每个业务租户可以查看自己被关联可使用的集群列表。

3、基于注册集群创建自定义资源组

创建自定义资源组时,支持选择当前租户关联可使用的自定义调度集群。使用自定义集群调度资源的任务运行时不会与 Dataphin 产生数据交换,从而减少跨 region 数据传输等场景下的流量带宽消耗,提升同步效率。

有了这个功能,比如场景 1 描述的问题,就可以在云平台上通过“容器管理服务”创建K8s集群,指定可用于Dataphin任务调度的机器,再将该集群注册到Dataphin中并创建对应的自定义资源组。创建集成任务时,为任务指定对应集群下创建好的调度资源组,即可实现同一region下的数据传输,而无需与Dataphin集群产生数据交换。

以后只需要一套 Dataphin 平台,就可以搞定所有业务、不同云平台的数据同步工作,不仅可以将集团数据进行统一管理,也不会产生资源浪费啦!是不是很心动呢,快来体验吧!

相关文章
|
6月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
JSON 缓存 运维
Dataphin数据服务API开启IP白名单调用鉴权
Dataphin数据服务API提供便捷的API开发及运维、应用调用权限管理等功能,为数据业务化提供了坚实的支撑。在应用调用API的时候,Dataphin可支持通过AcessKey方式的调用鉴权。而在企业内部网络中,也可以使用IP白名单方式简化调用。本文将为您介绍如何开启IP白名单的调用鉴权。
220 0
|
7天前
|
人工智能 关系型数据库 MySQL
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
本文通过一个利用百炼大模型平台和Dataphin数据服务API构建一个客户360智能应用的案例,介绍如何使用Dataphin数据服务API在百炼平台创建一个自定义插件,用于智能应用的开发,提升企业智能化应用水平。
数据魔力,一触即发 —— Dataphin数据服务API,百炼插件新星降临!
|
2月前
|
API 开发工具
|
1月前
|
数据处理 调度
Dataphin功能Tips系列(31)-自定义资源组
某零售企业最近在做促销活动,希望保证某些数据处理任务(订单处理、库存更新)任务能够快速按时完成,如何保证这些高优任务的调度资源不被其他任务占用,能按时执行?
|
1月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?

热门文章

最新文章