Python3 CookBook | 迭代器与生成器

简介: 想要反向迭代一个序列很容易,使用内置函数 reversed() 便可以做到,如下:

反向迭代


想要反向迭代一个序列很容易,使用内置函数 reversed() 便可以做到,如下:


In [1]: a = [1, 2, 3, 4]
In [2]: for x in reversed(a):
   ...:     print(x)
   ...:
4
3
2
1
复制代码


反向迭代的特点是,需要预先知道迭代对象的大小,或者对象实现了 __reversed__() 方法,如果两者都不符合,那么,必须先将对象转换成一个列表才可以。


# Print a file backwards
f = open('somefile')
for line in reversed(list(f)):
    print(line, end='')
复制代码


有一个需要注意的问题就是,如果迭代对象元素很多的话,在转换成列表的过程中会耗费大量的内存。

想解决这个问题,可以在自定义类上实现 __reversed__() 方法来解决,代码如下:


#!/usr/bin/env python
#-*- encoding: utf-8 -*-
def reverse_iterate(): 
  for rr in reversed(Countdown(30)):
    print(rr)
  for rr in Countdown(30):
    print(rr)
class Countdown:
  def __init__(self, start):
    self.start = start
      #  Forward iterator
    def __iter__(self):
    n = self.start
    while n > 0:
      yield n
      n -= 1
  # Reverse iterator 当使用reversed函数翻转对象时调用
  def __reversed__(self):
    n = 1
    while n <= self.start:
      yield n
      n += 1
if __name__ == '__main__':
  reverse_iterate()
复制代码


这个方法可以使代码非常的高效,因为它不再需要将数据填充到一个列表中,然后再去反向迭代这个列表。


迭代器切片


在处理列表相关问题时,使用切片操作非常方便,但遗憾的是,迭代器并不支持标准的切片操作,主要原因就是因为,我们事先并不知道迭代器和生成器的长度。


In [3]: def count(n):
   ...:     while True:
   ...:         yield n
   ...:         n += 1
   ...:
In [4]: c = count(0)
In [5]: c[10: 20]
-----------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-5-60489cd5ce42> in <module>()
> 1 c[10: 20]
TypeError: 'generator' object is not subscriptable
复制代码


想在迭代器和生成器上使用切片操作,可以使用 itertools.islice() 函数:


In [6]: import itertools
In [7]: for x in itertools.islice(c, 10, 20):
   ...:     print(x)
   ...:
10
11
12
13
14
15
16
17
18
19
复制代码


但是这里有一个问题,islice() 函数会消耗掉传入的数据,比如我再调用一次这个函数,返回的结果就发生了变化。


In [8]: for x in itertools.islice(c, 10, 20):
   ...:     print(x)
   ...:
   ...:
30
31
32
33
34
35
36
37
38
39
复制代码


所以,如果想多次使用切片的结果,就需要把数据存起来。


顺序迭代合并后的排序迭代对象


假设现在有多个排序序列,现在想把它们合并,并且得到一个新的排序序列,应该怎么做呢?

heapq.merge() 函数可以完美解决这个问题:


In [9]: import heapq
In [10]: a = [1, 4, 7, 10]
In [11]: b = [2, 5, 6, 11]
In [12]: heapq.merge(a, b)
Out[12]: <generator object merge at 0x1087ab570>
In [13]: for x in heapq.merge(a, b):
  ...:     print(x)
  ...:
1
2
4
5
6
7
10
11
复制代码


需要注意的一点是,传入的序列必须是排过序的。

如果序列中元素过多,也并不需要担心效率问题,通过上面代码也可以看出,heapq.merge() 函数的返回结果依然是一个生成器,并非是列表。

未完待续。。。


目录
相关文章
|
1月前
|
大数据 数据处理 数据安全/隐私保护
Python3 迭代器与生成器详解:从入门到实践
简介:本文深入解析Python中处理数据序列的利器——迭代器与生成器。通过通俗语言与实战案例,讲解其核心原理、自定义实现及大数据处理中的高效应用。
75 0
|
3月前
|
人工智能 数据安全/隐私保护 Python
小红书图文生成器,小红书AI图文生成工具,python版本软件
Pillow库自动生成符合平台尺寸要求的配图7;3)利用Playwright实现自动化发布流程6。
|
3月前
|
数据采集 NoSQL 调度
当生成器遇上异步IO:Python并发编程的十大实战兵法
本文通过十大实战场景,详解Python中生成器与异步IO的高效结合。从协程演进、背压控制到分布式锁、性能剖析,全面展示如何利用asyncio与生成器构建高并发应用,助你掌握非阻塞编程核心技巧,提升I/O密集型程序性能。
100 0
|
10天前
|
存储 大数据 Unix
Python生成器 vs 迭代器:从内存到代码的深度解析
在Python中,处理大数据或无限序列时,迭代器与生成器可避免内存溢出。迭代器通过`__iter__`和`__next__`手动实现,控制灵活;生成器用`yield`自动实现,代码简洁、内存高效。生成器适合大文件读取、惰性计算等场景,是性能优化的关键工具。
128 2
|
6月前
|
开发者 Python
Python代码设计:使用生成器替代回调函数
本文探讨了在处理大文件时计算MD5值的实现方法,并展示了如何通过回调函数、生成器和类等方式输出进度。首先介绍了通过回调函数更新进度的方式,然后优化为使用生成器简化调用者代码,最后对比了两种方式的优缺点。虽然生成器使代码更简洁,但在异常处理上不如回调函数灵活。作者通过实例分析,帮助开发者根据需求选择合适的方式。
105 16
|
2月前
|
传感器 数据采集 监控
Python生成器与迭代器:从内存优化到协程调度的深度实践
简介:本文深入解析Python迭代器与生成器的原理及应用,涵盖内存优化技巧、底层协议实现、生成器通信机制及异步编程场景。通过实例讲解如何高效处理大文件、构建数据流水线,并对比不同迭代方式的性能特点,助你编写低内存、高效率的Python代码。
119 0
|
3月前
|
存储 API 数据库
自动发短信的软件,批量自动群发短信,手机号电话号生成器【python框架】
这个短信群发系统包含以下核心功能: 随机手机号生成器(支持中国号码) 批量短信发送功能(使用Twilio API)
|
4月前
|
数据采集 搜索推荐 调度
当生成器遇上异步IO:Python并发编程的十大实战兵法
生成器与异步IO是Python并发编程中的两大利器,二者结合可解决诸多复杂问题。本文通过十个真实场景展示其强大功能:从优雅追踪日志文件、API调用流量整形,到实时数据流反压控制、大文件分片处理等,每个场景都体现了生成器按需生成数据与异步IO高效利用I/O的优势。两者配合不仅内存可控、响应及时,还能实现资源隔离与任务独立调度,为高并发系统提供优雅解决方案。这种组合如同乐高积木,虽单个模块简单,但组合后却能构建出复杂高效的系统。
90 0
|
12月前
|
存储 索引 Python
Python生成器、装饰器、异常(2)
【10月更文挑战第16天】
145 1
Python生成器、装饰器、异常(2)
|
11月前
|
大数据 数据处理 开发者
Python中的迭代器和生成器:不仅仅是语法糖####
本文探讨了Python中迭代器和生成器的深层价值,它们不仅简化代码、提升性能,还促进了函数式编程风格。通过具体示例,揭示了这些工具在处理大数据、惰性求值及资源管理等方面的优势。 ####

推荐镜像

更多