开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink里pyspark ,通过 spark-submit 这种方式提交作业,报错依赖缺失 咋办?

麻烦想问一下pyspark ,通过 spark-submit 这种方式提交作业,但报错依赖缺失 能否帮忙解决一下哈d9d150226d8c9fbc18e8954108b4ecc9.png

展开
收起
防火防爆 2024-08-26 17:50:20 54 0
1 条回答
写回答
取消 提交回答
  • PySpark 自定义模块报错”No module named”的解决方案
    在本文中,我们将介绍如何解决使用 PySpark 时自定义模块报错“No module named”的问题。PySpark 是 Apache Spark 的 Python API,用于处理大数据集。使用自定义模块可以让我们在 PySpark 任务中重用代码和函数。然而,有时在导入自定义模块时会遇到”No module named”的错误。下面我们将详细介绍导致这个问题的原因,并提供解决方案。

    image.png
    参考文档https://deepinout.com/pyspark/pyspark-questions/258_pyspark_pyspark_returns_a_no_module_named_error_for_a_custom_module.html

    2024-08-27 09:01:12
    赞同 3 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载