开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

你好,请问大数据计算MaxCompute我这边在dataworks中建了ODPS Spark

问题1:你好,请问大数据计算MaxCompute我这边在dataworks中建了ODPS Spark任务,任务对应的spark程序中调用了我们自己的一个公网ip接口 现在一直超时 配置dataworks沙箱白名单后也没效果 需要maxcompute这面再配置吗?
问题2:可能以前走过,但现在这个ip和域名是新的 需要再走一次吗

展开
收起
真的很搞笑 2023-07-18 22:23:23 72 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在使用 DataWorks 中的 ODPS Spark 任务调用公网 IP 接口时,可能会遇到超时等问题。如果您已经在 DataWorks 中配置了沙箱白名单,但仍然无法解决问题,可以考虑在 MaxCompute 中进行相关配置,以确保 ODPS Spark 任务能够正常访问公网 IP 接口。具体来说,可以按照以下步骤进行操作:

    在 MaxCompute 中配置网络白名单。可以通过在 MaxCompute 控制台中添加网络白名单,将 ODPS Spark 任务所在的 IP 地址添加到网络白名单中,以确保 ODPS Spark 任务能够正常访问公网 IP 接口。

    确认 ODPS Spark 任务的运行环境。在 ODPS Spark 任务中调用公网 IP 接口时,需要确保 ODPS Spark 任务的运行环境具备访问公网的能力。可以通过检查 ODPS Spark 任务的配置和运行日志,确认任务所在的集群是否支持公网访问,是否存在防火墙等限制。

    调整 ODPS Spark 任务的超时时间。在 ODPS Spark 任务中调用公网 IP 接口时,可能会存在网络延迟等因素导致任务超时。可以尝试调整 ODPS Spark 任务的超时时间,以确保任务能够正常完成。

    2023-07-29 10:36:22
    赞同 展开评论 打赏
  • 问题1:对于在DataWorks中建立的ODPS Spark任务,调用自己的公网IP接口时出现超时的情况,如果您已经在DataWorks的沙箱白名单中添加了相应的配置,但仍然没有生效,那么您可能需要在MaxCompute这一侧进行额外的配置。

    要解决这个问题,您可以尝试以下步骤:

    1. 确保在DataWorks中正确配置了沙箱白名单,并且将需要访问的公网IP地址和端口添加到白名单中,以允许访问。

    2. 在MaxCompute中,您可以通过创建一个VPC网络来连接MaxCompute和您的公网IP接口。这样,MaxCompute作业就可以通过该VPC网络访问公网IP接口。请参考MaxCompute官方文档了解如何创建VPC网络并与MaxCompute集成。

    问题2:如果您的公网IP和域名是新的,并且此前使用的配置已过时或无法访问新的IP和域名,那么您确实需要更新相关配置。

    请确保在DataWorks和MaxCompute的配置中都包含了最新的公网IP和域名信息,以确保数据计算任务能够成功访问您的接口。

    同时,如果您的公网IP和域名是动态分配的,可能需要定期更新相关配置,以反映最新的IP和域名变化。

    如果以上方法仍然无法解决问题,建议您联系MaxCompute的技术支持团队或服务提供商,以获取更详细的帮助和支持。

    2023-07-28 21:13:44
    赞同 展开评论 打赏
  • 回答1:MaxCompute访问外网需要走一下申请,之前有走过了吗?
    https://help.aliyun.com/zh/maxcompute/user-guide/network-connection-process?spm=a2c4g.11186623.0.i6#p-dr1-yqr-l6g
    回答2:需要的,申请完了需要在spark作业的配置里面再加上配置:
    spark.hadoop.odps.cupid.smartnat.enable = true;
    spark.hadoop.odps.cupid.internet.access.list=,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-19 13:01:25
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载