开发者社区> 问答> 正文

关于一个python大文件处理程序的调试问题?报错

大家好!

我是一个新手小白,需要调试一个python编写的文件处理程序,

该程序在处理小文件的时候成功输出想要的结果,

但当文件增大到Gb级别时:

在循环处理文件的过程中,20分钟内,内存(3.7G)占用量由45%逐步变到85%左右并基本维持不变,而CPU使用量由100%逐步下降,1小时后变为1%,几乎没有运行了

在此过程中,程序不报错,不退出,也没有出结果

请问这样的现象可能是出于什么原因?我该如何着手调试?

非常感谢!

展开
收起
爱吃鱼的程序员 2020-06-14 17:27:39 453 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    可以按照行数记日志比如10w记一次,或者切成小一点的文件.

    2020-06-14 17:27:58
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载