DataWorks网络链路指的是DataWorks与其他云产品/数据库之间的网络连接链路,主要包括私网链路和公网链路两种连接方式。
私网链路:
使用私网链路可以在安全可控的情况下,实现DataWorks与其他云产品之间的数据传输。例如,可以通过VPC连接、对等连接等私网连接方式实现DataWorks与RDS、Hadoop、ECS等云产品之间的数据传输。使用私网链路传输数据,不会产生公网流量费用,同时传输速度也会更快。
公网链路:
如果需要与其他地区或其他公司/机构之间进行数据传输,则需要使用公网链路。此时,需要在DataWorks实例上开启公网IP,并将其他云产品/数据库的访问设置为公网IP地址,然后可以在DataWorks中通过ODPS数据源、外部数据源等方式访问其他产品/数据库。但是,使用公网链路传输数据会产生公网流量费用,并且传输速度会受到公网带宽的影响。
DataWorks 的网络链路主要包括以下几个方面:
1、阿里云 DataWorks:阿里云 DataWorks 是阿里巴巴集团开发的一款全链路数据治理产品,它可以帮助企业治理内部不断上涨的“数据悬河”,释放数据生产力。
2、MaxCompute:MaxCompute 是阿里云的一款分布式计算引擎,可以处理大规模的数据计算任务。
3、Hologres:Hologres 是阿里云的一款数据可视化引擎,可以帮助企业快速生成数据可视化报告。
4、EMR:EMR 是阿里云的一款大数据仓库和数据库引擎,可以处理海量的数据存储和计算任务。
5、CDP:CDP 是阿里云的一款数据驱动的商业智能和数据分析平台,可以帮助企业快速构建自己的数据分析能力。
通过这些引擎和工具的组合使用,DataWorks 可以为企业提供全链路的数据治理服务,帮助企业释放数据生产力,提高数据管理和应用的效率和质量。
1.数据库实例公网地址/ip+公共数据集成资源组 链路:公共数据集成资源组相应地域白名单ip加到数据库实例白名单内(注意区分白名单分组) [数据集成白名单列表] (https://help.aliyun.com/document_detail/137792.html?spm=a2c4g.11174283.6.717.5d822b65ez5tsx) 2.数据库实例公网地址/ip+独享数据集成资源组 该情况需要利用独享数据集成资源组的公网能力进行数据同步,需要将独享数据集成资源组的eip(在独享数据集成资源组的查看信息中获取eip)添加到数据库实例白名单中 3.数据库实例vpc内网地址/ip+独享数据集成资源组 该情况需要利用独享数据集成资源组的vpc内网能力进行数据同步,需要进行vpc网络绑定。 独享资源组绑定数据库vpc操作指导链接 4.ecs自建数据库+公共数据集成资源组 该情况需要ecs服务器需要有公网能力。ecs公网需无访问限制。 5.ecs自建数据库vpc内网地址/ip+独享数据集成资源组 需要数据集成资源组绑定ecs所在vpc,如果没有路由还需要添加路由(步骤可见3),且ecs安全组需要放开数据集成专有网络绑定中的交换机网段ip 6.本地idc数据库+独享数据集成资源组 本地idc库==>云企业网或者vpn==>阿里云上和独享集成资源组同地域的vpc==》独享集成资源组绑定该vpc==>添加idc数据库ip作为路由==》数据库防火墙放开专有网络交换机限制 7.跨地域数据库实例vpc内网+独享数据集成资源组 链路举例:上海region数据库实例vpc A==>云企业网或其他工具==>杭州地域Vpc B==>杭州地域独享数据集成资源组绑定Vpc B(如果云企业网连的是杭州资源组的vpc和上海数据库实例vpc则绑定步骤可忽略)==>资源组添加idc路由(填写数据库实例ip)==>上海region数据库实例白名单放开独享资源组专有网络交换机网段ip。 8.跨账号/跨地域数据库实例vpc内网+独享数据集成资源组 ,此回答整理自钉群“DataWorks1群已满,新群请看群公告”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。