不想跨集群传输数据?Dataphin自定义集群帮你搞定!

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin V3.13版本新增自定义注册调度集群功能。通过自定义注册不同集群并指定关联租户,可实现资源隔离管控;通过指定集成任务运行使用的资源组,可减少跨集群数据传输场景,降低流量带宽消耗,提高同步效率。

应用场景简介

当企业使用一套统一的数据开发与治理平台,但是业务形态比较复杂、或者有跨平台、境业务的时候,尝尝会有以下场景:

  • 开发平台部署在本地机房,需要将某个云上业务库A的数据集成到与A在同一Region下的业务库B
  • 由于业务形态不同,每个部门使用的数据库分布于不同的云平台,且较少有跨部门数据传输的场景,希望部门内数据同步时,尽可能降低调度资源消耗,提升单部门内部的数据同步效率

以上场景都面临一个相同的问题:数据所在集群与数据集成开发平台部署使用的集群不同,因此即使数据同步的来源和目标在同一个集群,也需要进行跨集群数据传输;不仅造成额外的资源消耗,也影响同步效率。

如何才能解决这个问题呢?Dataphin V3.13 版本重磅推出“自定义注册调度集群”的功能,只需要进行几步简单配置,就可以将其他集群注册到 Dataphin 上,并且可以使用急群众的指定机器资源作为调度资源进行数据同步,从而避免跨集群数据传输。

下面,我们就来看一下 Dataphin 如何自定义注册调度集群吧。

功能概览

1、注册调度集群

集群注册主要分为两步:

Step 1:首先在 Dataphin 平台中填写集群基本信息,包括:名称、负责人、描述、关联租户。仅关联租户可以使用该集群的资源创建自定义资源组,从而实现资源隔离管控。

Step 2:基本信息配置完成后,您还需要在指定集群完成“应用部署安装”等连接配置,注册的调度集群才可用。Dataphin 为您提供了集群链接配置引导:

  • 机器打标:在需要注册的集群中,通过机器打标的方式指定集群中可用于 Dataphin调度的机器,后续使用该集群资源组的任务仅会在已标记的机器上执行。您可快捷复制打标命令模板,替换参数后再执行。
  • 应用部署:下载每个已经添加到 Dataphin 的集群对应的描述文件,并联系部署运维人员或集群管理员在目标集群执行命令完成应用的安装与授权。安装成功后,注册的集群可向Dataphin集群上报有指定标签的机器资源信息,用于任务调度。

2、调度集群管理

元仓租户可以统一查看并管理所有已经注册到 Dataphin 的调度集群,包括:编辑集群信息、查看每个集群的可用资源量和集群状态等等。此外,每个业务租户可以查看自己被关联可使用的集群列表。

3、基于注册集群创建自定义资源组

创建自定义资源组时,支持选择当前租户关联可使用的自定义调度集群。使用自定义集群调度资源的任务运行时不会与 Dataphin 产生数据交换,从而减少跨 region 数据传输等场景下的流量带宽消耗,提升同步效率。

有了这个功能,比如场景 1 描述的问题,就可以在云平台上通过“容器管理服务”创建K8s集群,指定可用于Dataphin任务调度的机器,再将该集群注册到Dataphin中并创建对应的自定义资源组。创建集成任务时,为任务指定对应集群下创建好的调度资源组,即可实现同一region下的数据传输,而无需与Dataphin集群产生数据交换。

以后只需要一套 Dataphin 平台,就可以搞定所有业务、不同云平台的数据同步工作,不仅可以将集团数据进行统一管理,也不会产生资源浪费啦!是不是很心动呢,快来体验吧!

相关文章
|
6天前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6天前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6天前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6天前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6天前
|
SQL 分布式计算 数据可视化
Dataphin常见问题之看不到上个版本的血缘如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6天前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
301 1
|
6天前
|
存储 数据处理
Dataphin集成任务支持自定义FTP标记完成文件内容(V3.14)
在文件传输的场景中,标记完成文件(有时也被称为标档文件)作为一种重要的确认机制被广泛应用。这一机制通过创建特定的“传输完成标识文件”,用于明确指示数据文件已成功完成全量传输,并达到可以进行下一步业务处理的状态,从而有效防止了基于不完整数据流的错误操作。
|
6天前
|
SQL 监控 安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
107 0
|
6天前
|
监控 安全 大数据
Dataphin V3.10升级速览丨集成能力提升、15个应用场景、数据治理能力优化……
Dataphin V3.10升级速览丨集成能力提升、15个应用场景、数据治理能力优化……
|
6天前
|
SQL 运维 监控
Dataphin V3.9 版本升级|支持一站式数据汇聚处理、优化研发体验、提升数据治理能力
Dataphin V3.9 版本升级|支持一站式数据汇聚处理、优化研发体验、提升数据治理能力

热门文章

最新文章