Numpy中常用的保存与读取数据的方法

在遇到经常性的读取数值文件的时候，比如在做深度学习处理的数据，将原始数据转为Numpy格式的数据，然后使用Numpy直接读取，这样可以加快数据的读取速度，缩减数据加载的时间。下面对常用的保存和读取数据的方式进行介绍：

numpy.save()

保存一个数组到一个二进制的文件中,保存格式是.npy

参数介绍

numpy.save(file, arr, allow_pickle=True, fix_imports=True)

file:文件名/文件路径

arr:要存储的数组

allow_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)

fix_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)

例：

import numpy as np

#生成数据

x = np.arange(10)

print(x)

#保存数据

np.save('save_x',x)

输出结果：

numpy.savez

这个同样是保存数组到一个二进制的文件中,但是厉害之处是,它可以保存多个数组到同一个文件中,保存格式是.npz,它其实就是多个前面np.save的保存的npy,再通过打包(未压缩)的方式把这些文件归到一个文件上,不行你去解压npz文件就知道了,里面是就是自己保存的多个npy.

参数介绍

numpy.savez(file, *args, **kwds)

file:文件名/文件路径

*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr_0','arr_1'的方式命名

kwds:(可选参数,默认即可)

例：

import numpy as np

x = np.arange(10)

print(x)

y=np.sin(x)

print("保存前的数据：")

print(x,y)

np.savez('save_xy',x,y)

npzfile=np.load('save_xy.npz')

xx=npzfile['arr_0']

yy=npzfile['arr_1']

print("保存后的数据：")

print(xx,yy

输出结果：

你也可以不用Numpy默认给数组的Key，自己给数组定义key。例：

import numpy as np
x = np.arange(10)
print(x)
y=np.sin(x)
print("保存前的数据：")
print(x,y)
np.savez('save_xy',x=x,y=y)
npzfile=np.load('save_xy.npz')
xx=npzfile['x']
yy=npzfile['y']
print("保存后的数据：")
print(xx,yy)

输出结果：

在深度学习中，拥有上述技能，你把训练集、测试集、验证集统统保存成Numpy格式的文件，大大提高加载速度。

Numpy.savez_compressed

在numpy.savez的基础上加了压缩,对文件进行打包时使用了压缩,可以理解为压缩前各npy的文件大小不变,使用该函数比前面的numpy.savez得到的npz文件更小.

注:函数所需参数和numpy.savez一致,用法完成一样.

例：

import numpy as np
x = np.arange(10)
print(x)
y=np.sin(x)
print("保存前的数据：")
print(x,y)
np.savez_compressed('save_xy',x=x,y=y)
npzfile=np.load('save_xy.npz')
xx=npzfile['x']
yy=npzfile['y']
print("保存后的数据：")
print(xx,yy)

输出结果：

Numpy.savetxt

保存数组到文本文件上,可以直接打开查看文件里面的内容.

参数介绍

numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None)

fname:文件名/文件路径,如果文件后缀是.gz,文件将被自动保存为.gzip格式,np.loadtxt可以识别该格式

X:要存储的1D或2D数组

fmt:控制数据存储的格式

delimiter:数据列之间的分隔符

newline:数据行之间的分隔符

header:文件头步写入的字符串

footer:文件底部写入的字符串

comments:文件头部或者尾部字符串的开头字符,默认是'#'

encoding:使用默认参数

例：

import numpy as np
x = np.arange(10)
#保存数据
np.savetxt('test.out', x)
np.savetxt('test1.out', x,fmt='%1.4e')
np.savetxt('test2.out', x, delimiter=',')
np.savetxt('test3.out', x,newline='a')
np.savetxt('test4.out', x,delimiter=',',newline='a')
np.savetxt('test5.out', x,delimiter=',',header='abc')
np.savetxt('test6.out', x,delimiter=',',footer='abc')