开发者社区> 问答> 正文

ODPS SPARK节点pyspark使用默认的第三方包报错找不到

已解决

ODPS SPARK节点pyspark使用默认的第三方包报错找不到

展开
收起
阿里云服务支持 2022-12-08 16:56:56 250 0
1 条回答
写回答
取消 提交回答
  • 官方回答

    可以在配置项中加一下这两个参数:

    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz

    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

    image.png

    详情参见PySpark开发示例

    2022-12-08 17:11:47
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
问答排行榜
最热
最新

相关电子书

更多
DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载