概述
功能介绍：支持通过注册调度集群访问各网络环境中的数据源，避免数据跨网络传输。
目标受众：云上和云下（本地机房）都存在集群和数据库，期望通过一套Dataphin实例统一管理云上云下的集群和数据。
版本要求：Dataphin V4.2版本及以上（公共云多租户的Dataphin暂不支持，敬请期待）。
应用场景介绍
奔牛汽车在阿里云上部署了一套Dataphin，通过该实例对云上集群Lindorm进行管理。然而，除了云上的Lindorm集群以外，奔牛汽车在本地机房中还有一套Hadoop集群和多个业务库。牛总正在烦恼如何通过一套Dataphin统一管理云上云下的集群和数据。
--- 牛总：小甲，叫你过来，主要是讨论一下如何通过Dataphin去连接本地的数据库，并把数据同步到Hadoop集群中。
--- 小甲：牛总，为什么不直接给这几个数据库开公网呢？
--- 牛总：小甲啊，开公网意味着我们需要跨网络传输数据，流量成本很高的，然后安全性也特别低。
“注册调度集群”如何解决跨网络传输数据的问题
如上所述，跨网络传输数据往往意味着高额的流量成本和潜在的安全风险。为了解决这个问题，Dataphin V4.2版本进一步完善“注册调度集群”的功能，通过将与数据源同一网络环境下的集群注册进入Dataphin并作为调度集群，有效避免跨网络传输数据的问题。
- 使用“注册调度集群”之前的集成任务：如果集成任务中的数据源与Dataphin实例不在同一网络环境中，数据会先从来源数据源抽取到Dataphin调度集群中进行加工处理，然后再写入到目标数据源中，产生了跨网络传输，安全性低、流量成本高。
- 使用“注册调度集群”之后的集成任务：对于上述集成任务涉及的数据源，数据会从来源数据源抽取到“外部调度集群”中进行加工处理，然后再写入到目标数据源中，只需把“外部调度集群”部署在与数据源相同的网络中，数据就会在指定网络中流转，避免了跨网络传输数据的问题。
如何使用“注册调度集群”功能
前置要求：联系Dataphin运维团队进行前置评估，并协助完成架构迁移、网络配置等操作。
- Step 1：将外部的调度集群注册到元仓租户中，然后将集群授权给指定租户；
- Step 2：前往对应租户，基于注册的调度集群创建资源组；
- Step 3：新建数据源，并测试该数据源与“默认集群”和“外部调度集群”的连通性，数据源与任一集群网络相通即可保存成功；
- Step 4：创建集成任务，并将集成任务运行在外部调度集群的资源组中。
- 可选步骤：可创建该数据源的元数据采集任务，以获取该数据源的元数据信息，方便数据源的后续使用。
“注册调度集群”功能的使用须知
前置要求
- 架构要求：调度集群基于Kubernetes部署的Dataphin实例支持使用此功能，请联系Dataphin运维团队获取您的部署架构；
- 网络要求：
- 注册的调度集群与数据源之间需要保持网络连通；
- 注册的调度集群需要可以访问Dataphin的部署域名：
- 部署域名是您日常用来访问Dataphin的域名，注册的调度集群需要可以访问该域名，且可路由到指定端口，如果您的域名协议是HTTP，则端口为80，如果您的域名协议是HTTPS，则端口为443；
- 注册的调度集群需要可以访问Dataphin所部署时您所提供的对象存储实例：
- 如果您是阿里云独立部署，那么“对象存储”采用的是阿里云OSS，注册的调度集群需要可以访问OSS实例的外网EndPoint；如果您的OSS实例仅支持内网访问，请联系Dataphin运维部署团队修改访问OSS的默认路径；
- 如果您是华为云独立部署，那么“对象存储”采用的是华为云OBS，注册的调度集群需要可以访问OBS实例的Endpoint；
- 如果您是私有云独立部署，那么“对象存储”是在部署时由Dataphin部署团队创建的Ceph（截止到 V4.2版本，暂不支持对象存储为“Ceph”的Dataphin实例使用注册调度集群功能）。
功能限制
- 支持所有离线计算任务和集成任务下发到所注册的调度集群中；
- 如果Dataphin实例与数据源所在的网络互不相通，则：
- 新建数据源时，仅支持测试Oracle、MySQL、SQLserver、PostgreSQL类型的数据源与所注册的调度集群的连通性，并允许保存与注册调度集群网络相通的数据源；（在后续版本中，Dataphin将支持测试其他类型的数据源与所注册的调度集群网络相通的数据源，敬请期待）
- 对于与Dataphin实例网络不通的数据源，Dataphin将无法正常展示相应的元数据信息，需要手动创建元数据采集任务以获取指定数据源的元数据信息；
- 质量中全域表质量规则的任务将会失败；
- 数据服务中直连数据源API的查询任务将会失败；
- 标签中来源于HBase、MySQL、Hologress、PostgreSQL数据集的实时标签的查询任务将会失败。
-----------本文所涉及的奔牛汽车为虚构企业，如与现实中任何实际存在的企业名称或品牌有相似之处，纯属巧合。
