在公司内部的局域网环境下,默认提交 MaxCompute Spark 任务后无法获取任务状态,长时间卡顿后抛出网络连接异常!如果在公网环境下则无此问题,请问如何在局域网环境下提交任务,需要哪些配置?
在局域网环境下能正常提交 MaxCompute Spark 任务
在局域网环境下提交MaxCompute Spark任务时,可能会遇到无法获取任务状态或抛出网络连接异常的问题。这是因为在局域网环境下,MaxCompute Spark使用的是内部网络连接,而无法直接访问公网。
为了解决这个问题,可能需要需要进行以下配置:
1、确保计算机和MaxCompute集群在同一局域网内。如果您的计算机和集群位于不同的网络中,则可能会出现连接问题。
2、在MaxCompute Spark配置文件中,启用“允许访问外部服务器”选项。这将允许计算机连接到MaxCompute集群,并从中下载和上传数据。
3、确保计算机和MaxCompute集群之间的网络连接稳定。如果网络连接不稳定,可能会导致任务无法提交或执行。
4、如果集群在公网上,则需要确保您的网络连接也是公网。如果您的集群位于局域网内,则可能会遇到连接问题。
5、如果需要从集群中上传大量数据到计算机上,可能需要使用“流传输”等高级功能,以确保数据能够在网络中以最优方式传输。
总之,要在局域网环境下提交MaxCompute Spark任务,需要确保计算机和集群在同一局域网内,并启用“允许访问外部服务器”选项,确保网络连接稳定,并使用高级功能确保数据在网络中以最优方式传输。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。