Python函数式编程
我的AI Studio项目：【笔记】LearnDL第三课：Python高级编程——抽象与封装 - 飞桨AI Studio (baidu.com)
python中函数式编程的一些技巧，可以提升我们编写代码的效率，写出更加清晰且高效的代码。
开发者关心两个效率，
程序运行的效率：程序用更少的计算资源完成更多的任务。
编写代码的效率：程序员在更少的时间实现更多的功能。
随着计算机算力的不断增长，如今我们更加关心的往往是后者。
本文主要包含以下内容：
函数应当如何使用数据
使用列表推导式或字典推导式简化代码
使用Lambda函数，简化代码
python中一些内置函数的使用技巧
什么是高阶函数
使用函数式编程的技巧完成一个小任务
最后一节“函数式编程的应用”中用到了一个图像数据集，在AI Studio中可以使用它。
1. 数据
- 数据的状态——尤为重要
- 不修改外部环境，不影响输入，多次调用函数不会产生不同的结果
- 避免可变的状态
- 尽量使用不可变的数据结构。例如list可变，而tuple不可变。
# 返回斐波那契数列的某一项 def fib(i): if i > 1: return fib(i - 1) + fib(i - 2) else: return 1 print(fib(5))
8
使用可变的数据结构，例如list，有时会踩坑，例如作为函数的默认参数时，下面是一个例子。
你惊讶地发现，put(10)和put(5)竟然输出了一样的结果，而你单独运行put(5)时又能得到正确的结果。
def put(n, x=[1, 1]): while len(x) < n: x.append(x[-1] + x[-2]) return x print(put(10)) print(put(5))
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55] [1, 1, 2, 3, 5, 8, 13, 21, 34, 55]
原因就是，两次调用put函数时，默认参数[1, 1]都是同一个对象，例如可以打印出对象的id（相当于在内存中的地址）看一下，发现两次调用put函数都在直接操作同一个list对象。
def put(n, x=[1, 1]): print(id(x)) while len(x) < n: x.append(x[-1] + x[-2]) return x put(10), put(5)
140357520173648 140357520173648 ([1, 1, 2, 3, 5, 8, 13, 21, 34, 55], [1, 1, 2, 3, 5, 8, 13, 21, 34, 55])
而使用不可变的数据对象作为函数的默认参数，就不会出现该问题。之前因为默认参数list本身也是一个对象实例，“可变”就是可以被篡改；而元组对象本身是无法修改的，后面代码怎么写都不会影响默认参数的值。
下面的例子中，你发现两次调用时元组x的id还是相同的，但是转换成的list的id就不同了，put(5)也得到了正确的结果。
def put(n, x=(1, 1)): print("tuple:", id(x)) x = list(x) print("list: ", id(x)) while len(x) < n: x.append(x[-1] + x[-2]) return x put(10), put(5)
tuple: 140357563320112 list: 140357519739872 tuple: 140357563320112 list: 140357519346416 ([1, 1, 2, 3, 5, 8, 13, 21, 34, 55], [1, 1, 2, 3, 5])
2. 推导式
列表推导式与字典推导式，可以提升我们编码的效率，以及程序运行的效率。
例如前面的put函数，使用推导式，函数体仅需一行代码，而且代码逻辑也清晰易懂。
# 列表推导式 def put(n): return [fib(i) for i in range(n)] print(put(5)) # 字典推导式 def put(n): return {i:fib(i) for i in range(n)} print(put(5))
[1, 1, 2, 3, 5] {0: 1, 1: 1, 2: 2, 3: 3, 4: 5}
3. 函数式编程
善用一些函数式编程技巧，提高编程效率。
- Lambda函数
- python内置函数
- sum：求和
- all：有一个None就返回False
- any：有一个不是None，就返回True
- reduce：自定义求和方式
- 高阶函数
3.1. Lambda函数
Lambda定义的函数，与def定义的函数是等价的，但是在形式上更简单。
f = lambda a, b : a + b print(f(1, 2)) def f(a, b): return a + b print(f(1, 2))
3 3
Lambda与其它迭代器对象结合使用，有时会十分方便。例如，生成一个完全平方数列：
# 生成一个完全平方数列 x = list(map(lambda x : x * x, range(11))) print(x) # 找到数列中以‘1’结尾的数字，组成一个新的数列 x = list(filter(lambda x : str(x).endswith("1"), x)) print(x)
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100] [1, 81]
3.2. python内置函数
关于python内置函数，下面给出几个示例代码。其中all和any常用于有效数据的筛选。
x = [1, 2, 3, 4, 5] print(sum(x)) x = [1, 2, 3, None, 5] print(all(x)) x = [None, None, 3, None, None] print(any(x)) x = ['a', 'b', 'c', 'd'] reduce(lambda x, y : x * 2 + y, x)
15 False True 'aabaabcaabaabcd'
reduce可能看起来不太好懂，其实这里的“求和”对于字符串而言就是“连接”，x作为之前的和传入，y就是下一项，（其实和sum的求和还是很相似的，可以仔细比较一下）。过程如下：
a * 2 + b = aab
aab * 2 + c = aabaabc
aabaabc * 2 + d = aabaabcaabaabcd
3.3. 高阶函数
在python中，函数其实可以玩得挺花。例如，函数可以作为返回值，也可以作为函数的参数。
# 1. 函数作为返回值 # 这里例子中，函数k()的定义受函数f()的控制 def f(n): def k(x): return n * x return k F = f(3) print(F(2)) # 2. 函数作为参数 def F(x, f): x = f(x) return x * x print(F(1, lambda x : x + 1))
6 4
4. 函数式编程的应用
对于一个任务，先梳理需求，把共性、重复的地方抽象出来，再统一安排。
例如下面的任务：
- 将两个image文件夹归类至dataset/image文件夹，并将文件按照顺序重新编号
待处理数据集结构：
- PlantSegmentationDatasets - vinecuttings - images - masks - weeds - weed50images - weed50masks
images文件夹中都是".JPG"后缀的文件，weed50images中既有".JPG"也有".png"。
首先，我们要得到待复制的所有文件，
dir_1 = "/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/" dir_2 = "/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/" # 1. glob模糊匹配 paths = glob(dir_1 + "*.JPG") for path in paths[:5]: print(path) # 2. 列表推导式 --> 匹配多种文件后缀 # 此时得到了一个两层嵌套的列表 [[], [], [], []] ends = ["*.JPG", "*.jpg", "*.png", "*.jpeg"] paths = [glob(dir_2 + end) for end in ends] print(paths) # 3. reduce（求和） --> 拼接嵌套列表为一层 paths = reduce(lambda x, y : x + y, paths) for path in paths[:5]: print(path)
输出：
输出内容过长， 已自动对输出内容进行截断 /home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00149.JPG /home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00241.JPG /home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00248.JPG /home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00214.JPG /home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00200.JPG [['/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_0026.JPG', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_035.JPG'], [], ['/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0035-YuzhenLu(C).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0021-YuzhenLu(B).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0031-YuzhenLu.png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0035-YuzhenLu(A).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0017-YuzhenLu(B).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0042-YuzhenLu.png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_Nikon /home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_0026.JPG /home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_035.JPG /home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0035-YuzhenLu(C).png /home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0021-YuzhenLu(B).png /home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0031-YuzhenLu.png
下面是完整的代码：
# 将in_dirs里每个目录的图片，分别复制到同一个out_dir中，并为它们重新编号 def copy_dir(in_dirs, out_dir): !mkdir $out_dir # 创建文件夹 for j, in_dir in enumerate(in_dirs): ends = ["*.JPG", "*.png", "*.jpg", "*.jpeg"] paths = reduce(lambda x, y : x + y, [glob(in_dir + end) for end in ends]) for i, in_filename in enumerate(paths): out_filename = out_dir + str(j) + "_" + str(i) + ".jpg" print(out_filename) !cp $in_filename $out_filename # 复制图片 dir_1 = "/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/" dir_2 = "/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/" out_dir = "/home/aistudio/data/image/" in_dirs = [dir_1, dir_2] copy_dir(in_dirs, out_dir)
更多的应用，就以后在实践中慢慢摸索咯。
