AI 助理
备案控制台
开发者社区 问答 正文

Worker节点中的work目录占用许多磁盘空间

Worker节点中的work目录占用许多磁盘空间 目录地址：/home/utoken/software/spark-1.3.0-bin-hadoop2.4/work

展开
收起
茶什i 2019-10-29 14:50:26 1253 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 珍宝珠

    目录地址：/home/utoken/software/spark-1.3.0-bin-hadoop2.4/work
    这些是Driver上传到worker的文件，需要定时做手工清理，否则会占用许多磁盘空间

    2019-10-30 15:58:06
    赞同 展开评论
问答地址：
开发者社区 > 云计算 > 问答
相关问答
问一个问题，这个的目录是本地的，三台机器应该只要配置jm那台就行吧？不需要做什么共享目录或是别的吧？
379
1
0
是在执行action的时候再拷贝相应分区到多个worker节点进行并行计算吗？
260
1
0
关于任务运行一定时间后，physical内存超出，container被kill,导致任务重启怎么办？
1269
1
0
容量调度器的配置在运行时，可以随时重新加载刷新队列，编辑etc/hadoop目录下的capacity
1161
1
0
free命令可以查看磁盘负载情况吗？
684
1
0
Kubernetes的worker节点CPU和内存使用率过高会自动排空该worker上的 #k8s
1309
1
0
node性能平台，在linux上运行大内存程序时，获取堆快照无法进行转储
542
0
0
大佬们，task端rocksdb状态 保存路径默认是在哪里的啊？我想挂载个新磁盘 把状态存到那里去
2342
1
0
k8s某个worker IP被占满了然后没法创建新pod
2957
1
0
问个问题，服务器内存是192G，现在经常内存爆满，Cpu缺不高。shared_buffers是64G。work_mem是4G。连接数也不高。是什么原因造成这么高的内存消耗啊
5484
1
0