开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute spark 节点 no space left on devic?

大数据计算MaxCompute spark 节点 no space left on device,磁盘空间调整到了100g,其实没有什么数据量,还在测试阶段,线程数只有1,我能否设置tmp临时文件存档位置?如何设置?aws是可以修改临时文件位置的,不知道阿里云是否可以?

展开
收起
真的很搞笑 2023-08-13 11:12:03 134 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在大数据计算MaxCompute中,可以通过设置Spark的临时文件存档位置来解决磁盘空间不足的问题。您可以在Spark的配置文件中指定临时文件存档位置,将其设置为具有足够可用空间的路径。

    对于MaxCompute Spark,您可以使用以下步骤设置临时文件存档位置:

    找到Spark的配置文件:在MaxCompute控制台中,选择您的Spark作业,点击"高级设置",然后点击"编辑配置"。

    添加或修改Spark配置:在配置编辑界面中,找到"spark-defaults.conf"配置项。如果该项不存在,请点击"添加"按钮添加新的配置项。

    设置临时文件存档位置:添加以下配置项到"spark-defaults.conf"中,将替换为您希望使用的临时文件存档路径。

    Copy
    spark.local.dir
    ```

    例如,您可以设置为本地磁盘的某个目录,如/tmp/spark

    保存配置并提交作业:完成配置后,保存并提交Spark作业。Spark将使用指定的临时文件存档位置来存储临时文件和数据。

    2023-08-13 22:46:59
    赞同 展开评论 打赏
  • 不能修改。spark.hadoop.odps.cupid.disk.driver.device_size只能设置到spark-conf文件或者dataworks的配置项中,临时文件的位置应该指定不了,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-08-13 11:58:21
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载