开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

局域网环境下如何提交 MaxCompute Spark 任务

问题描述

在公司内部的局域网环境下,默认提交 MaxCompute Spark 任务后无法获取任务状态,长时间卡顿后抛出网络连接异常!如果在公网环境下则无此问题,请问如何在局域网环境下提交任务,需要哪些配置?

期望结果

在局域网环境下能正常提交 MaxCompute Spark 任务

展开
收起
游客j3gi7fm5uejvi 2023-04-04 17:37:32 130 0
1 条回答
写回答
取消 提交回答
  • 存在即是合理

    在局域网环境下提交MaxCompute Spark任务时,可能会遇到无法获取任务状态或抛出网络连接异常的问题。这是因为在局域网环境下,MaxCompute Spark使用的是内部网络连接,而无法直接访问公网。

    为了解决这个问题,可能需要需要进行以下配置:

    1、确保计算机和MaxCompute集群在同一局域网内。如果您的计算机和集群位于不同的网络中,则可能会出现连接问题。

    2、在MaxCompute Spark配置文件中,启用“允许访问外部服务器”选项。这将允许计算机连接到MaxCompute集群,并从中下载和上传数据。

    3、确保计算机和MaxCompute集群之间的网络连接稳定。如果网络连接不稳定,可能会导致任务无法提交或执行。

    4、如果集群在公网上,则需要确保您的网络连接也是公网。如果您的集群位于局域网内,则可能会遇到连接问题。

    5、如果需要从集群中上传大量数据到计算机上,可能需要使用“流传输”等高级功能,以确保数据能够在网络中以最优方式传输。

    总之,要在局域网环境下提交MaxCompute Spark任务,需要确保计算机和集群在同一局域网内,并启用“允许访问外部服务器”选项,确保网络连接稳定,并使用高级功能确保数据在网络中以最优方式传输。

    2023-04-28 17:33:55
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载