开发者社区 问答 正文

ODPS SPARK节点pyspark使用默认的第三方包报错找不到

已解决

ODPS SPARK节点pyspark使用默认的第三方包报错找不到

展开
收起
阿里云服务支持 2022-12-08 16:56:56 292 分享 版权
1 条回答
写回答
取消 提交回答
  • 官方回答

    可以在配置项中加一下这两个参数:

    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz

    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

    image.png

    详情参见PySpark开发示例

    2022-12-08 17:11:47
    赞同 展开评论
收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
还有其他疑问?
咨询AI助理