应用场景简介
当企业使用一套统一的数据开发与治理平台,但是业务形态比较复杂、或者有跨平台、境业务的时候,尝尝会有以下场景:
- 开发平台部署在本地机房,需要将某个云上业务库A的数据集成到与A在同一Region下的业务库B
- 由于业务形态不同,每个部门使用的数据库分布于不同的云平台,且较少有跨部门数据传输的场景,希望部门内数据同步时,尽可能降低调度资源消耗,提升单部门内部的数据同步效率
以上场景都面临一个相同的问题:数据所在集群与数据集成开发平台部署使用的集群不同,因此即使数据同步的来源和目标在同一个集群,也需要进行跨集群数据传输;不仅造成额外的资源消耗,也影响同步效率。
如何才能解决这个问题呢?Dataphin V3.13 版本重磅推出“自定义注册调度集群”的功能,只需要进行几步简单配置,就可以将其他集群注册到 Dataphin 上,并且可以使用急群众的指定机器资源作为调度资源进行数据同步,从而避免跨集群数据传输。
下面,我们就来看一下 Dataphin 如何自定义注册调度集群吧。
功能概览
1、注册调度集群
集群注册主要分为两步:
Step 1:首先在 Dataphin 平台中填写集群基本信息,包括:名称、负责人、描述、关联租户。仅关联租户可以使用该集群的资源创建自定义资源组,从而实现资源隔离管控。
Step 2:基本信息配置完成后,您还需要在指定集群完成“应用部署安装”等连接配置,注册的调度集群才可用。Dataphin 为您提供了集群链接配置引导:
- 机器打标:在需要注册的集群中,通过机器打标的方式指定集群中可用于 Dataphin调度的机器,后续使用该集群资源组的任务仅会在已标记的机器上执行。您可快捷复制打标命令模板,替换参数后再执行。
- 应用部署:下载每个已经添加到 Dataphin 的集群对应的描述文件,并联系部署运维人员或集群管理员在目标集群执行命令完成应用的安装与授权。安装成功后,注册的集群可向Dataphin集群上报有指定标签的机器资源信息,用于任务调度。
2、调度集群管理
元仓租户可以统一查看并管理所有已经注册到 Dataphin 的调度集群,包括:编辑集群信息、查看每个集群的可用资源量和集群状态等等。此外,每个业务租户可以查看自己被关联可使用的集群列表。
3、基于注册集群创建自定义资源组
创建自定义资源组时,支持选择当前租户关联可使用的自定义调度集群。使用自定义集群调度资源的任务运行时不会与 Dataphin 产生数据交换,从而减少跨 region 数据传输等场景下的流量带宽消耗,提升同步效率。
有了这个功能,比如场景 1 描述的问题,就可以在云平台上通过“容器管理服务”创建K8s集群,指定可用于Dataphin任务调度的机器,再将该集群注册到Dataphin中并创建对应的自定义资源组。创建集成任务时,为任务指定对应集群下创建好的调度资源组,即可实现同一region下的数据传输,而无需与Dataphin集群产生数据交换。
以后只需要一套 Dataphin 平台,就可以搞定所有业务、不同云平台的数据同步工作,不仅可以将集团数据进行统一管理,也不会产生资源浪费啦!是不是很心动呢,快来体验吧!