AI 助理
备案控制台
开发者社区 问答 正文

ODPS SPARK节点pyspark使用默认的第三方包报错找不到

已解决

ODPS SPARK节点pyspark使用默认的第三方包报错找不到

展开
收起
阿里云服务支持 2022-12-08 16:56:56 278 分享 版权
来自： 阿里云支持与服务

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 阿里云服务支持
    官方回答

    可以在配置项中加一下这两个参数：

    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz

    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

    image.png

    详情参见PySpark开发示例。

    2022-12-08 17:11:47
    赞同 展开评论
问答分类：
分布式计算 MaxCompute Spark 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute spark 大数据开发治理平台 DataWorks节点 云原生大数据计算服务 MaxCompute节点 云原生大数据计算服务 MaxCompute报错 大数据开发治理平台 DataWorks报错
问答地址：
开发者社区 > 阿里云支持与服务 > 问答
相关问答
Dataworks 里的 ODPS spark 节点访问不到 maxcompute 里的表
97
1
0
flink里pyspark ,通过 spark-submit 这种方式提交作业，报错依赖缺失 咋办？
157
1
0
Dataworks的各任务节点，有同时运行的任务数量限制吗？
94
1
0
大数据计算MaxCompute on spark 可以在硅谷节点使用吗？
60
1
0
阿里云maxcompute on spark 可以在硅谷节点使用吗？
85
0
0
在Dataworks中如何配置用户留存模型的任务节点？
77
1
0
dataworks调用odps的spark中的pyspark代码报错找不到main函数什么情况啊？
107
1
0
DataWorks文档上这里有spark节点我的咋没有？
66
1
0
dataworks上如何开发实时任务 spark任务或者flink任务？
91
0
0
DataWorks用python3 节点跑任务 ，source节点是 mysql 怎么办？
74
1
0