dataworks的ip问题是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks的IP问题可能涉及到几个层面:
访问控制台的IP地址: DataWorks控制台是通过阿里云提供的域名进行访问,而不是通过具体的IP地址。用户只需要在浏览器中输入相应的域名即可访问DataWorks控制台。
公网访问能力: 对于独享资源组,默认提供公网访问能力。用户可以登录DataWorks控制台,在左侧导航栏选择"资源组列表",查看并复制EIP地址信息。
网络连通性: 当资源组与数据源之间的网络连通性受到阻碍时,可能是因为白名单的限制导致的。例如,部分数据源设置白名单后会不允许白名单外的IP访问,此时需要将资源组的IP添加至数据源的白名单中。如果数据库和DataWorks不在同一个阿里云账号下,需要进行数据同步时,可以根据"配置资源组与网络连通"的相关文档,选择对应的解决方案进行排查。
资源组扩容后的IP更新: 如果已经将独享数据集成资源组的弹性网卡IP添加到了数据源的白名单中,后续如果资源组有扩容操作,需要及时更新数据源的白名单,将扩容后的资源组的弹性网卡IP添加到数据源白名单中。
dataworks中的ip问题指的是数据开发过程中涉及到的各种网络相关的难题,比如网络延迟、跨数据中心传输等问题。这些问题可能导致数据传输的速度变慢、传输过程中的数据丢失等问题。因此,在开发过程中需要充分考虑这些问题,并采取适当的措施加以解决,比如优化网络架构、采用高效的数据传输协议等。
确定IP网段
公网访问场景
使用独享资源组公网能力。
独享资源组默认提供公网访问能力,您可以通过以下方式查看公网出口IP。
登录DataWorks控制台。
在左侧导航栏,选择资源组列表 > 查看信息。
复制EIP地址信息。
用户自持有VPC转发。
您可以通过绑定VPC网络,添加路由的方式,将公网访问转发至用户自持有VPC。此时独享资源组出口IP为用户VPC。具体操作,请参见创建和管理公网NAT网关实例。
内网访问场景
登录DataWorks控制台。
在左侧导航栏,选择资源组列表 > 网络设置。
复制交换机网段。
说明
建议您使用交换机网段配置白名单。如果您使用弹性网卡IP配置白名单,任务运行到扩容的资源组时,会因为网络不通而导致任务失败。
【关于dataworks白名单】
1.调度部分
1.1在公共调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务器无防火墙且有公网能力
==》在工作空间配置中添加沙箱白名单。
1.2 在公共调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务地址非公网==》不支持
1.3 在独享调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务器有防火墙但有公网能力的==》
将独享调度资源组eip加到防火墙名单内。
1.4 在独享调度资源组上运行shell、pyodps等任务访问(阿里云数据库、服务等),服务器是内网地址的==》
独享调度资源组需通过vpn、云企业网(跨域、跨账号适用)等与对应服务器进行vpc绑定。
指导链接:https://developer.aliyun.com/article/766753
1.5 在独享调度资源组上运行shell、pyodps等任务访问线下服务器、数据库等,服务器是内网地址的==》
服务需连上阿里云(可使用云企业网等工具)之后独享调度资源组需要与线下库云企业网的vpc做绑定。
独享调度资源组==》vpc==》云企业网==》线下库
2.数据集成部分,原理同上
数据服务白名单。
如果您需要使用公共资源组数据服务创建api,请在数据库添加数据服务公共资源组白名单。
数据服务公共资源组白名单配置
4.元数据采集名单:
如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加需要使用的DataWorks所在地域的IP网段,详情请参考文档:数据地图配置元数据采集白名单
如果您maxcompute项目设置白名单后数据地图界面访问报错ip不在白名单列表中,请参考配置数据地图白名单
5.maxcompute访问外网或VPC网络,请参见:https://help.aliyun.com/document_detail/187866.html?spm=a2c4g.11186623.6.905.786877cbkDYtbT#title-tcw-nuz-kxt,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,可能会出现IP问题。这些问题主要涉及以下几种情况:
为了解决这些问题,可以尝试以下方法:
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。