开发者社区> 问答> 正文

python中slots魔法

python中slots魔法

展开
收起
montos 2020-04-16 20:09:12 683 0
2 条回答
写回答
取消 提交回答
  • 代码改变世界,我们改变代码

    __slots__这个只有在属性有成百上千才能看出效果来吧。

    2020-04-24 11:48:17
    赞同 展开评论 打赏
  • 在Python中,每个类都有实例属性。默认情况下Python用一个字典来保存一个对象的实例属性。这非常有用,因为它允许我们在运行时去设置任意的新属性。 然而,对于有着已知属性的小类来说,它可能是个瓶颈。这个字典浪费了很多内存。Python不能在对象创建时直接分配一个固定量的内存来保存所有的属性。因此如果你创建许多对象(我指的是成千上万个),它会消耗掉很多内存。 不过还是有一个方法来规避这个问题。这个方法需要使用__slots__来告诉Python不要使用字典,而且只给一个固定集合的属性分配空间。 这里是一个使用与不使用__slots__的例子:

    • 不使用 __slots__:
      class MyClass(object):
      def __init__(self, name, identifier):
        self.name = name
        self.identifier = identifier
        self.set_up()
      # ...
      
    • 使用 __slots__:
      class MyClass(object):
      __slots__ = ['name', 'identifier']
      def __init__(self, name, identifier):
        self.name = name
        self.identifier = identifier
        self.set_up()
      # ...
      

    第二段代码会为你的内存减轻负担。通过这个技巧,有些人已经看到内存占用率几乎40%~50%的减少。 稍微备注一下,你也许需要试一下PyPy。它已经默认地做了所有这些优化。 以下你可以看到一个例子,它用IPython来展示在有与没有__slots__情况下的精确内存占用,感谢 https://github.com/ianozsvald/ipython_memory_usage

    Python 3.4.3 (default, Jun  6 2015, 13:32:34)
    Type "copyright", "credits" or "license" for more information.
    
    IPython 4.0.0 -- An enhanced Interactive Python.
    ?         -> Introduction and overview of IPython's features.
    %quickref -> Quick reference.
    help      -> Python's own help system.
    object?   -> Details about 'object', use 'object??' for extra details.
    
    In [1]: import ipython_memory_usage.ipython_memory_usage as imu
    
    In [2]: imu.start_watching_memory()
    In [2] used 0.0000 MiB RAM in 5.31s, peaked 0.00 MiB above current, total RAM usage 15.57 MiB
    
    In [3]: %cat slots.py
    class MyClass(object):
            __slots__ = ['name', 'identifier']
            def __init__(self, name, identifier):
                    self.name = name
                    self.identifier = identifier
    
    num = 1024*256
    x = [MyClass(1,1) for i in range(num)]
    In [3] used 0.2305 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM usage 15.80 MiB
    
    In [4]: from slots import *
    In [4] used 9.3008 MiB RAM in 0.72s, peaked 0.00 MiB above current, total RAM usage 25.10 MiB
    
    In [5]: %cat noslots.py
    class MyClass(object):
            def __init__(self, name, identifier):
                    self.name = name
                    self.identifier = identifier
    
    num = 1024*256
    x = [MyClass(1,1) for i in range(num)]
    In [5] used 0.1758 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM usage 25.28 MiB
    
    In [6]: from noslots import *
    In [6] used 22.6680 MiB RAM in 0.80s, peaked 0.00 MiB above current, total RAM usage 47.95 MiB
    
    2020-04-16 20:10:55
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载