开发者社区> 问答> 正文

DataWorks中ODPS SPARK节点pyspark使用第三方包

已解决

DataWorks中ODPS SPARK节点pyspark使用第三方包

展开
收起
提个问题 2024-06-02 13:05:45 42 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    ODPS SPARK节点pyspark使用默认的第三方包报错找不到,比如pytz包
    可以在配置项中加一下这两个参数
    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

    2024-06-02 13:05:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载