开发者学堂课程【全链路数据治理-全域数据集成:3.数据同步网络连通实践】学习笔记,与课程紧密连接,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/1082/detail/16061
数据同步网络连通实践
数据同步的网络联通性实践
在做数据同步的同时,网络打通是一大难题,通过本片,你可以了解数据库在不同网络环境中可选用的网络联通方案,可以将数据同步的源端、目标端与data wall数据集成资源组进行打通,更快的完成后续同步相关的工作。
网络联通性的原理介绍,data verse使用集成资源组来进行数据同步,数据同步前我们需要保证数据集成资源组与数据库具备网络的联通性,你可以根据数据库所在的网络环境,选择合适的网络解决方案来实现网络的联通,
接下来是独享数据集成资源组的介绍,因为刚才提到了我们需要将data verse的数据集成资源组跟数据库进行网络环境的打通,独享数据集成资源组是我们data verse上托管型的资源,购买这些资源之后,你可以独自享用这些的资源。使用场景一般是在实时或者离线同步的场境下,特别是实施这种相对比较消耗资源的场景以及我们提供的一些同步解决方案场景。另外,当您需要通过内网访问其他网络环境时,需要和其他网络环境下的数据库进行网络联通,您可以选择独享数据集成资源组。最后,在我们一些数据集成任务高并发的情况下,因为您如果使用一些公共的、按量的,我们可能没法进行错分运行,如果您购买了独享数据集成资源度,可以保障数据的快速稳定的传输。了解完这些背景信息之后,我们具体看一下网络联通的解决方案,网络联通的解决方案会有一些使用限制,就是在使用独享数据集成资源组时,可以与在公网、PPC内网网络环境中的数据源进行跨region、跨IDC、跨云厂商之间的网络联通,是无法与经典网络中的数据源进行联通的。在方案选型里,大家可以看到,不管你的数据库是在阿里云自建的,还是阿里云自己的,以及数据库不在阿里云的情况下,你通过各种访问方式可以完成不同的网络打通方案的这个选型,那接下来,我们会针对几个典型场景跟大家做一些简单的介绍。
场景一是通过公网访问数据库,这种网络是可以通过data verse的独享数据集成资源组进行直接访问的,那下面有一些操作的步骤大家可以参考,不管是独享数据集成资源组的使用,以及ids获取专有网络的这些信息。需要提示的是,如果中间你涉及一些公网的费用,数据集成会按照阿里云通用的公网流量计费进行收费。
场景二是通过我们VPC内网访问数据库,且数据库与这沃工作空间在同,阿里云主账号同地域,这个网络联通方案相对而言也比较容易,我们可以直接将两边的VPC进行一个绑定,然后网络联通性的操作指导,大家也可以参考我们的说明,然后如果您是在数据源界面配置的网络绑定,那独享数据集成资源组只能访问数据库所在VPC和交换机,无法与整个VPC实现联通,需要您手动进行添加路由的操作。
第三个场景是我们通过VPC内网访问数据库且数据库与data verse工作空间同阿里云主账号,但是并不在同一个地域,那这个时候我们网络的联通方案就需要运到额外的云企业网和VPN的网关,我们网络配置的操作指导可以参考我们的文档,比如说首先会为数据线独享资源组绑定一个VPC,然后我们接下来会配置数据源和资源组的网络联通,使用云企业网或者VPN联通这两个VPC,然后就能够实现这个网络环境之间的打通。
场景四,是针对VPC内网同步数据库数据,并且数据库与data verse工作空间使用不同的阿里云主账号。在这个时候,我们也可以通过云企业网和VPN网关的形式来完成整个网络联通方案的打通,具体操作和刚才类似,大家参考具体的文档就可以。
第五种方式是数据库不在阿里云,是在我们线下的IDC或者其他云厂商上,同样的我们也可以采用与企业网和VPN网关进行网络的打通。具体的操作步骤,比如说与企业网以及VPN网关的使用,大家可以操参考帮助文档。实现所有的网络联通之后,在后续步骤里,我们会进行网络联通的配置,大家可以选择合适的网络联通方案,然后参考联通方案对应的操作引导,配置数据源与资源组的网络联通。完成网络联通配置之后,可以根据数据库是否开启白名单设置,如果开启了白名单,需要保证资源组相应的IP地址段添加到数据库的白名单中,避免资源组无法正常读取数据库的数据,可以参考参添加白名单的这个操作文档。
如果你是数据库是ecs自建的数据库,还需要配置一些安全组的策略,可以参考ecs自建数据库的一个安全组配置。
以上就是所有的内容。