开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks中Spark节点访问公网有什么限制么?

dataworks中Spark节点访问公网有什么限制么?

展开
收起
真的很搞笑 2024-01-07 17:27:01 69 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,Spark节点访问公网的限制取决于所使用的资源组以及网络配置。一般来说,独享数据服务资源组支持访问公网环境、阿里云VPC网络环境以及IDC网络环境下的数据源。

    如果Spark节点需要访问公网,首先需要检查使用的资源组是否支持公网访问。其次,需要确保网络配置允许公网访问。这可能涉及到防火墙和安全组规则的设置。

    另外,如果专有网络(VPC)已配置为能够访问公网,那么需要在Spark作业级别配置公网访问白名单以及ENI开关。

    最后,请确保使用的独享调度资源组和EMR集群是最新的。如果使用的是2021年6月10日之前创建的资源组,可能需要提交工单进行相关组件的升级。

    2024-01-08 21:28:46
    赞同 展开评论 打赏
  • 可以参考看下这里https://help.aliyun.com/zh/maxcompute/user-guide/faq-about-spark-on-maxcompute?spm=a2c4g.11186623.0.0.67e065c9Y8CgYk#section-xc2-mf2-mxd
    image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-07 19:04:53
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks中的Spark节点访问公网的能力取决于所使用的资源组以及网络配置。独享数据服务资源组支持访问公网环境、阿里云VPC网络环境以及IDC网络环境下的数据源。在创建EMR Spark SQL节点时,需要选择与数据源测试连通性成功的调度资源组。

    另外,如果您的专有网络(VPC)已配置为能够访问公网,那么您需要在Spark作业级别配置公网访问白名单以及ENI开关。此外,确保您使用的独享调度资源组和EMR集群是最新的,如果使用的是2021年6月10日之前创建的资源组,可能需要提交工单进行相关组件的升级。
    \

    2024-01-07 17:28:48
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多