开发者社区> 问答> 正文

python :Memory Error怎么破?

python :Memory Error怎么破?

展开
收起
游客ahv54x37wvm7u 2021-10-31 15:42:40 527 0
1 条回答
写回答
取消 提交回答
  • 要破这个东西,要先破你的算法。 先别说破这个词了。 梳理你的算法,避免三重循环, 避免大量使用字典的多次嵌套。 显然你的数据量巨大。还用这么耗内存,耗CPU的算法。只有算法改良了才能解决这个问题。即使给你C语编程,你都能把内存用光了。你把矩阵放在字典里,内存肯定吃不消。顺便说一下,你用的python应该是32位的。如果是64位的会好些。 在python里,大数据处理一定要减少字典使用。如果字典项超过一定值比为2万,就要小心。 字典主要是用来统计用,不用来计算。 建议你考虑numpy.array做。如果不想用它就用Array,如果还不想可以用blist(第三方包),最差也要用list。字典虽然查找比list快,但是它耗更多内存。 比如你这个问题,你可以先考虑两步走。不要把算法放在一起,虽然效率高,但是后期维护成本高。 第一步计算“浏览过每种物品的人数”, 这个可以用字典。但是因为要做人与物品的关联,所以,应该是说错了。 应该是“计算某个浏览过某个物品”。 你这里与时间没有关系。算法应该没有计算“时间”加权。 我理解你的算法应该是用户浏览”两个物品时”,则累加两个物品同时浏览次数。 并将次数除以,用户分别浏览i,j次数乘积的开根方。 这本来是一个很简单的算法。 你弄太复杂了。 建议你这样。 你使用两个字典,分别这样 items_browsed_by_user[userid][product_id] items_browsed_cross [userid][[product_id_i, product_id_j]] 记着在给items_browsed_cross [userid][(product_id_i, product_id_j)]赋值时。保证product_id_i < product_id_j 这样你只需要一半的内存就可以存i*j矩阵。因为先浏览i, 再j和先j再i, 结果是一样的。 最理想的办法是给userid编写一个编号,从0到number of users, 这样直接用数组就可以存放。不需要字典。 再给product_id编号用顺序号代替。 这样内存占用更少。只需要一个二维数组就可以存贮数据。 如果内存还不足够,就要引入稀疏矩阵。 如果还不足够,也可以的。每次计算,只计算一行。然后存贮到硬盘上。按行按列分别计算。这在大数据环境里很容易就做到了。

    2021-10-31 15:48:00
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载