开发者社区> 问答> 正文

在线等:如何删除一个500万文件量总量70G的文件

之前拿来处理一些文件的文件夹,主要就是把大文件切割之后打包,因为之前没有弄好每次要删除掉分割出来的小文件,所以就一直累积,现在很想删除掉它,发现:
rm -rf 会提示任务中断
rm -f * 会提示处理文件数目太多
rsync --delete-before   等了很久,一直没有反映
ls -l| awk '{ print "rm -f ",$9}'|sh  内存溢出


有没有什么办法,可以删除掉呢?

展开
收起
滴汤 2016-01-29 14:41:06 6985 0
4 条回答
写回答
取消 提交回答
  • Re在线等:如何删除一个500万文件量总量70G的文件
    阿里云ECS删除大量文件的效率和物理机比较起来差距估计有几个数量级,物理机上同样上百万个1K左右的文件,删除大概消耗5分钟(CPU负荷高),阿里云服务器删除了一个小时也才10来万个文件,而且服务器cpu负荷也上不去,全部删除万估计要10个小时以上。

    btw:同样都是用rsync 方式
    2016-11-04 17:40:03
    赞同 展开评论 打赏
  • Re在线等:如何删除一个500万文件量总量70G的文件
    感谢各位,经过漫长的12个小时的等待,终于开始动了!
    rsync --delete-before 确定有效!
    2016-01-29 19:54:42
    赞同 展开评论 打赏
  • R&S网络资深工程师 ,阿里云论坛官方版主,阿里云云计算ACP,春考教学网站长,IT技术晋级之路专辑作者
    好大的文件
    2016-01-29 15:45:39
    赞同 展开评论 打赏
  • 自己写程序遍历删除 比较不占资源
    2016-01-29 15:09:01
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
微博DCP实现分钟级服务成倍扩容 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载