大数据计算MaxCompute spark 节点 no space left on devic?
大数据计算MaxCompute spark 节点 no space left on device，磁盘空间调整到了100g，其实没有什么数据量，还在测试阶段，线程数只有1，我能否设置tmp临时文件存档位置？如何设置？aws是可以修改临时文件位置的，不知道阿里云是否可以？
写回答
-
北京阿里云ACE会长在大数据计算MaxCompute中，可以通过设置Spark的临时文件存档位置来解决磁盘空间不足的问题。您可以在Spark的配置文件中指定临时文件存档位置，将其设置为具有足够可用空间的路径。
对于MaxCompute Spark，您可以使用以下步骤设置临时文件存档位置：
找到Spark的配置文件：在MaxCompute控制台中，选择您的Spark作业，点击"高级设置"，然后点击"编辑配置"。
添加或修改Spark配置：在配置编辑界面中，找到"spark-defaults.conf"配置项。如果该项不存在，请点击"添加"按钮添加新的配置项。
设置临时文件存档位置：添加以下配置项到"spark-defaults.conf"中，将替换为您希望使用的临时文件存档路径。
Copy
spark.local.dir
```例如，您可以设置为本地磁盘的某个目录，如
/tmp/spark。保存配置并提交作业：完成配置后，保存并提交Spark作业。Spark将使用指定的临时文件存档位置来存储临时文件和数据。
2023-08-13 22:46:59赞同 展开评论 打赏 -
不能修改。spark.hadoop.odps.cupid.disk.driver.device_size只能设置到spark-conf文件或者dataworks的配置项中，临时文件的位置应该指定不了，此回答整理自钉群“MaxCompute开发者社区2群”
2023-08-13 11:58:21赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
