开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks公网访问数据源需要添加白名单嘛?

DataWorks公网访问数据源需要添加白名单嘛?

展开
收起
cuicuicuic 2023-08-02 10:47:41 128 0
4 条回答
写回答
取消 提交回答
  • 是的,如果你的DataWorks环境需要通过公网访问数据源(如关系型数据库、对象存储等),通常需要在数据源中配置相应的白名单规则。

    白名单是一种安全机制,用于限制允许与数据源建立连接的IP地址或IP地址段。通过将DataWorks所在的公网IP地址添加到数据源的白名单中,可以确保只有经过授权的IP才能访问数据源,提高数据的安全性。

    具体操作步骤可能因不同的数据源类型而有所不同。以关系型数据库为例,一般的操作步骤如下:

    1. 登录数据库管理控制台,找到对应的数据库实例。
    2. 进入数据库实例的网络设置或网络安全组配置页面。
    3. 添加一个新的白名单规则,并指定允许访问的IP地址或IP地址段。可以输入DataWorks公网IP地址或使用通配符(例如0.0.0.0/0)来表示允许任意IP访问。
    4. 保存配置并使其生效。

    请注意,在添加白名单规则时,要谨慎确认所允许访问的IP地址范围,避免将数据源暴露给未经授权的访问。同时,如果你使用了动态IP地址(如阿里云ECS实例),需要定期更新白名单以确保连接正常。

    2023-08-05 22:05:23
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在 DataWorks 中,如果你需要通过公网访问数据源(例如数据库、API等),通常需要将相应的数据源 IP 地址添加到目标数据源的白名单中。这是为了确保数据源只接受来自指定 IP 地址的请求,增加了安全性。

    具体的步骤可能因不同的数据源类型而有所不同,以下是一般的操作流程:

    确定数据源的访问要求:首先,你需要确定目标数据源的访问要求。查阅数据源的文档或联系数据源提供商,了解需要添加到白名单中的 IP 地址范围。

    获取 DataWorks 访问公网的 IP 地址:在 DataWorks 中,你可以通过查询 DataWorks 的公网 IP 地址来获取可添加到白名单中的 IP 地址。通常,DataWorks 提供了相应的接口或命令来获取这些信息。

    添加白名单规则:使用目标数据源提供的管理界面(如数据库管理工具、云服务控制台等),将 DataWorks 的公网 IP 地址添加到白名单中。具体的操作方式可能因数据源而异,你可以参考数据源文档或联系数据源提供商获取详细的操作指南。

    测试访问:添加完白名单规则后,你可以尝试在 DataWorks 中访问目标数据源,验证是否可以正常访问。如果访问仍然存在问题,可以检查白名单规则是否正确配置,或者联系数据源提供商寻求进一步的帮助。

    2023-08-04 22:34:13
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,如果您的DataWorks实例位于公网,并且需要通过公网访问数据源(如关系型数据库、对象存储等),通常需要将DataWorks实例的IP地址或CIDR添加到数据源的白名单中。

    在阿里云的服务中,大多数数据源都支持配置访问控制策略,例如安全组规则、网络ACL等,来限制哪些IP地址或CIDR可以访问该数据源。因此,在使用DataWorks时,您需要确保DataWorks实例的IP地址被允许访问所需的数据源。

    具体步骤可能会因不同的数据源而有所差异,一般情况下,您可以按照以下步骤进行操作:

    1. 获取DataWorks实例的公网IP地址或CIDR。
    2. 登录到数据源的管理控制台(如RDS控制台、OSS控制台等)。
    3. 在数据源的配置页面中,找到相应的访问控制设置选项(如安全组规则、网络ACL等)。
    4. 将DataWorks实例的公网IP地址或CIDR添加到允许列表中,以允许DataWorks实例访问该数据源。

    请注意,确保仅将必要的IP地址或CIDR添加到白名单中,避免不必要的安全风险。此外,如果DataWorks实例的公网IP地址是动态分配的,则可能需要定期更新白名单。

    2023-08-03 16:33:23
    赞同 展开评论 打赏
  • 【关于dataworks白名单】
    1.调度部分
    1.1在公共调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务器无防火墙且有公网能力
    ==》在工作空间配置中添加沙箱白名单。
    image.png

    1.2 在公共调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务地址非公网==》不支持
    1.3 在独享调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务器有防火墙但有公网能力的==》
    将独享调度资源组eip加到防火墙名单内。
    image.png

    1.4 在独享调度资源组上运行shell、pyodps等任务访问(阿里云数据库、服务等),服务器是内网地址的==》
    独享调度资源组需通过vpn、云企业网(跨域、跨账号适用)等与对应服务器进行vpc绑定。
    指导链接:https://developer.aliyun.com/article/766753
    1.5 在独享调度资源组上运行shell、pyodps等任务访问线下服务器、数据库等,服务器是内网地址的==》
    服务需连上阿里云(可使用云企业网等工具)之后独享调度资源组需要与线下库云企业网的vpc做绑定。
    独享调度资源组==》vpc==》云企业网==》线下库

    2.数据集成部分,原理同上

    数据服务白名单。

    如果您需要使用公共资源组数据服务创建api,请在数据库添加数据服务公共资源组白名单。

    数据服务公共资源组白名单配置

    4.元数据采集名单:

    如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加需要使用的DataWorks所在地域的IP网段,详情请参考文档:数据地图配置元数据采集白名单

    如果您maxcompute项目设置白名单后数据地图界面访问报错ip不在白名单列表中,请参考配置数据地图白名单

    5.maxcompute访问外网或VPC网络,请参见:https://help.aliyun.com/document_detail/187866.html?spm=a2c4g.11186623.6.905.786877cbkDYtbT#title-tcw-nuz-kxt,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-02 11:04:57
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多