开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

maxcompute 这个错误怎么解决?

maxcompute 这个错误怎么解决? maxcompute spark任务报 no space left on device

展开
收起
wenti 2023-03-13 15:09:03 260 0
2 条回答
写回答
取消 提交回答
  • 你好,Spark使用网盘进行本地存储。Shuffle数据和BlockManager溢出的数据均存储在网盘上。网盘的大小通过spark.hadoop.odps.cupid.disk.driver.device_size参数控制,默认为20 GB,最大为100 GB。如果调整到100 GB仍然报此错误,需要分析具体原因。常见原因为数据倾斜,在Shuffle或者Cache过程中数据集中分布在某些Block。此时可以缩小单个Executor的核数(spark.executor.cores),增加Executor的数量(spark.executor.instances)。

    2023-03-13 16:09:58
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    当MaxCompute Spark任务报设备上没有剩余空间时,可能有以下原因导致:

    1. 磁盘空间不足,可能需要清理磁盘上的无用文件,或者为磁盘扩容。
    2. 临时文件过多,如果Spark应用程序使用的是默认的临时路径,可能会因为临时文件太多而导致磁盘空间不足。可以在Spark应用程序中设置新的临时路径,并清理旧的临时文件。
    3. 程序内存使用过多,程序需要占用内存的情况下,当内存不足时,会产生交换内存,占用磁盘空间。此时需要检查程序内存设置是否合理。

    解决方案如下:

    1. 检查磁盘空间是否正确,如果需要扩容磁盘,请联系管理员或者云服务商。
    2. 检查Spark应用程序中的临时路径设置,避免使用默认设置,定期清理临时文件。
    3. 检查Spark应用程序中的内存设置,确保程序能够充分利用内存,尽量避免使用交换内存。
    2023-03-13 15:51:54
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载