不想跨集群传输数据?Dataphin自定义集群帮你搞定!

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: Dataphin V3.13版本新增自定义注册调度集群功能。通过自定义注册不同集群并指定关联租户,可实现资源隔离管控;通过指定集成任务运行使用的资源组,可减少跨集群数据传输场景,降低流量带宽消耗,提高同步效率。

应用场景简介

当企业使用一套统一的数据开发与治理平台,但是业务形态比较复杂、或者有跨平台、境业务的时候,尝尝会有以下场景:

  • 开发平台部署在本地机房,需要将某个云上业务库A的数据集成到与A在同一Region下的业务库B
  • 由于业务形态不同,每个部门使用的数据库分布于不同的云平台,且较少有跨部门数据传输的场景,希望部门内数据同步时,尽可能降低调度资源消耗,提升单部门内部的数据同步效率

以上场景都面临一个相同的问题:数据所在集群与数据集成开发平台部署使用的集群不同,因此即使数据同步的来源和目标在同一个集群,也需要进行跨集群数据传输;不仅造成额外的资源消耗,也影响同步效率。

如何才能解决这个问题呢?Dataphin V3.13 版本重磅推出“自定义注册调度集群”的功能,只需要进行几步简单配置,就可以将其他集群注册到 Dataphin 上,并且可以使用急群众的指定机器资源作为调度资源进行数据同步,从而避免跨集群数据传输。

下面,我们就来看一下 Dataphin 如何自定义注册调度集群吧。

功能概览

1、注册调度集群

集群注册主要分为两步:

Step 1:首先在 Dataphin 平台中填写集群基本信息,包括:名称、负责人、描述、关联租户。仅关联租户可以使用该集群的资源创建自定义资源组,从而实现资源隔离管控。

Step 2:基本信息配置完成后,您还需要在指定集群完成“应用部署安装”等连接配置,注册的调度集群才可用。Dataphin 为您提供了集群链接配置引导:

  • 机器打标:在需要注册的集群中,通过机器打标的方式指定集群中可用于 Dataphin调度的机器,后续使用该集群资源组的任务仅会在已标记的机器上执行。您可快捷复制打标命令模板,替换参数后再执行。
  • 应用部署:下载每个已经添加到 Dataphin 的集群对应的描述文件,并联系部署运维人员或集群管理员在目标集群执行命令完成应用的安装与授权。安装成功后,注册的集群可向Dataphin集群上报有指定标签的机器资源信息,用于任务调度。

2、调度集群管理

元仓租户可以统一查看并管理所有已经注册到 Dataphin 的调度集群,包括:编辑集群信息、查看每个集群的可用资源量和集群状态等等。此外,每个业务租户可以查看自己被关联可使用的集群列表。

3、基于注册集群创建自定义资源组

创建自定义资源组时,支持选择当前租户关联可使用的自定义调度集群。使用自定义集群调度资源的任务运行时不会与 Dataphin 产生数据交换,从而减少跨 region 数据传输等场景下的流量带宽消耗,提升同步效率。

有了这个功能,比如场景 1 描述的问题,就可以在云平台上通过“容器管理服务”创建K8s集群,指定可用于Dataphin任务调度的机器,再将该集群注册到Dataphin中并创建对应的自定义资源组。创建集成任务时,为任务指定对应集群下创建好的调度资源组,即可实现同一region下的数据传输,而无需与Dataphin集群产生数据交换。

以后只需要一套 Dataphin 平台,就可以搞定所有业务、不同云平台的数据同步工作,不仅可以将集团数据进行统一管理,也不会产生资源浪费啦!是不是很心动呢,快来体验吧!

相关文章
|
4月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
4月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
4月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
4月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
4月前
|
JSON 缓存 运维
Dataphin数据服务API开启IP白名单调用鉴权
Dataphin数据服务API提供便捷的API开发及运维、应用调用权限管理等功能,为数据业务化提供了坚实的支撑。在应用调用API的时候,Dataphin可支持通过AcessKey方式的调用鉴权。而在企业内部网络中,也可以使用IP白名单方式简化调用。本文将为您介绍如何开启IP白名单的调用鉴权。
185 0
|
2月前
|
SQL 运维 安全
Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台,旨在帮助企业构建高效、可靠、安全的数据资产。在V4.2版本中,Dataphin敏捷版上线助力企业打造轻量版数据中台,打通数据资产管理和消费,陪伴企业迈入数据高价值应用新阶段。
1628 2
Dataphin V4.2重大升级:上线敏捷版,打通数据资产管理和消费,开启数据价值放大新篇章
|
1月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
110 1
|
2月前
|
运维 关系型数据库 调度
想一套Dataphin管理云上云下的集群和数据?“注册调度集群”来帮忙!
在实际业务场景中,部分企业在云上和云下(本地机房)都存在集群和数据库,企业期望通过一套Dataphin同时对这些集群和数据库进行管理,如何有效解决数据跨网络传输带来的安全性低和流量成本高的问题是其中的关键。为了解决上述问题,Dataphin推出“注册调度集群”功能,帮助企业实现一套Dataphin管理云上云下的集群和数据。