大数据计算MaxCompute spark 节点 no space left on device,磁盘空间调整到了100g,其实没有什么数据量,还在测试阶段,线程数只有1,我能否设置tmp临时文件存档位置?如何设置?aws是可以修改临时文件位置的,不知道阿里云是否可以?
在大数据计算MaxCompute中,可以通过设置Spark的临时文件存档位置来解决磁盘空间不足的问题。您可以在Spark的配置文件中指定临时文件存档位置,将其设置为具有足够可用空间的路径。
对于MaxCompute Spark,您可以使用以下步骤设置临时文件存档位置:
找到Spark的配置文件:在MaxCompute控制台中,选择您的Spark作业,点击"高级设置",然后点击"编辑配置"。
添加或修改Spark配置:在配置编辑界面中,找到"spark-defaults.conf"配置项。如果该项不存在,请点击"添加"按钮添加新的配置项。
设置临时文件存档位置:添加以下配置项到"spark-defaults.conf"中,将替换为您希望使用的临时文件存档路径。
Copy
spark.local.dir
```
例如,您可以设置为本地磁盘的某个目录,如/tmp/spark
。
保存配置并提交作业:完成配置后,保存并提交Spark作业。Spark将使用指定的临时文件存档位置来存储临时文件和数据。
不能修改。spark.hadoop.odps.cupid.disk.driver.device_size只能设置到spark-conf文件或者dataworks的配置项中,临时文件的位置应该指定不了,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。