开发者社区> 问答> 正文

DataWorks中ODPS SPARK节点pyspark使用第三方包

已解决

DataWorks中ODPS SPARK节点pyspark使用第三方包

展开
收起
提个问题 2024-06-02 13:05:45 39 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    ODPS SPARK节点pyspark使用默认的第三方包报错找不到,比如pytz包
    可以在配置项中加一下这两个参数
    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

    2024-06-02 13:05:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载