在Python数据分析中，最常用的两种数据文件一个是Excel，还有一个就是csv文件了。当然如果数据量比较大的话，数据库就是必不可少的。
本篇文章我们不讨论数据库的知识点，我们给大家带来的是数据文件csv的操作。
csv文件
CSV文件：Comma-Separated Values，中文叫逗号分隔值或者字符分割值，其文件以纯文本的形式存储表格数据。可以把它理解为一个表格，只不过这个表格是以纯文本的形式显示的，单元格与单元格之间，默认使用逗号进行分隔；每行数据之间，使用换行进行分隔。
形如这样的文件：
name,age,score zhangsan,18,98 lisi,20,99 wangwu,17,90 jerry,19,95
csv文件写入列表数据
Python中的csv模块，提供了相应的函数，可以让我们很方便的读写csv文件。
# 首先导入csv import csv # 向csv文件中写入的数据 records = [ ['4月01日', '17:00', 'IG PK RA'], ['4月02日', '17:00', '苏州LGN PK SN'], ['4月03日', '17:00', 'FPX PK RA'], ['4月04日', '17:00', 'SN PK 西安WE'], ['4月05日', '17:00', '北京JDG PK FPX'], ['4月06日', '17:00', 'SN PK TES'] ] # 以写入方式打开一个csv文件 with open('electronic_sports.csv','w') as stream: # 调用writer方法，传入csv文件对象，得到的结果是一个CSVWriter对象 writer = csv.writer(stream) # 调用CSVWriter对象的writerow方法，一行行的写入数据 for record in records: writer.writerow(record)
在写入的时候有可能中文出现乱码，解决方式就是在使用open打开的时候添加一个关键字参数encoding=‘utf-8’：
open('electronic_sports.csv','w',encoding='utf-8')
但是写入的数据内入如下(注意windows操作系统文件的格式是在一行的)：
windows系统的换行问题也是需要在open里面添加一个newline=""的关键字参数。即
open('electronic_sports.csv','w',encoding='utf-8',newline="")
还有一个更加简便的写入多行的方式就是调用writerows()方法，这样就不用使用循环for每行遍历了。
# 首先导入csv import csv # 向csv文件中写入的数据 records = [ ['4月01日', '17:00', 'IG PK RA'], ['4月02日', '17:00', '苏州LGN PK SN'], ['4月03日', '17:00', 'FPX PK RA'], ['4月04日', '17:00', 'SN PK 西安WE'], ['4月05日', '17:00', '北京JDG PK FPX'], ['4月06日', '17:00', 'SN PK TES'] ] # 以写入方式打开一个csv文件 with open('electronic_sports.csv','w') as stream: # 调用writer方法，传入csv文件对象，得到的结果是一个CSVWriter对象 writer = csv.writer(stream) # 调用CSVWriter对象的writerow方法，一行行的写入数据 writer.writerows(records)
csv文件写入字典数据
如果我们操作的数据是字典格式的，比如：
records = [{'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'}, {'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'}, {'date':'4月02日', 'time':'18:00', 'adversary':'苏州LGN PK SN'}, {'date':'4月03日', 'time':'17:00', 'adversary':'SN PK 西安WE'}, {'date':'4月04日', 'time':'16:00', 'adversary':'北京JDG PK FPX'}, {'date':'4月05日', 'time':'19:00', 'adversary':'SN PK TES'}]
我们就需要换一种写入方式：
# 首先导入csv import csv # 向csv文件中写入的数据 records = [{'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'}, {'date':'4月01日', 'time':'17:00', 'adversary':'IG PK RA'}, {'date':'4月02日', 'time':'18:00', 'adversary':'苏州LGN PK SN'}, {'date':'4月03日', 'time':'17:00', 'adversary':'SN PK 西安WE'}, {'date':'4月04日', 'time':'16:00', 'adversary':'北京JDG PK FPX'}, {'date':'4月05日', 'time':'19:00', 'adversary':'SN PK TES'}] # 以写入方式打开一个csv文件 with open('electronic_sports.csv','w',encoding='utf-8',newline="") as stream: # 调用writer方法，传入csv文件对象，得到的结果是一个CSVWriter对象 writer = csv.DictWriter(stream,fieldnames=['date','time','adversary']) # 写入头部内容 writer.writeheader() for record in redords: # 调用CSVWriter对象的writerow方法，一行行的写入数据 writer.writerows(record)
office打开之后就是如图所示：
csv文件的读操作
我们还可以读出一个csv文件的内容，但是使用的方法是reader()，该方法返回的结果是一个生成器reader对象，所以需要遍历输出
import csv # 以读取方式打开一个csv文件 with open('electronic_sports.csv','r') as stream: # 调用csv模块的reader方法，得到的结果是一个可迭代对象 reader = csv.reader(stream) # 对结果进行遍历，获取到结果里的每一行数据 for row in reader: print(row)
而字典的读也是类似的，只不过在遍历的时候需要通过row获取一下
import csv with open('electronic_sports1.csv','r') as csvfile: reader = csv.DictReader(csvfile) print(reader) for row in reader: print(row['date'],row['time'],row['adversary'])
Pillow图像操作
Pillow属于第三方库，所以需要单独下载一下：
pip install pillow
Pillow库安装成功后，我们就可以对图片进行各种处理了，比如裁剪、旋转等等。导包时要用PIL来导入，而不能用pillow或Pillow。
import PIL from PIL import Image
在Pillow库中，除了有二十多个模块，还支持非常多的插件。其中最常用的是Image模块，而其他很多模块都是在Image模块的基础上对图像做进一步的特殊处理，Image模块中会导入部分来使用。
我们对图片的操作是离不开 Image 模块的，当然在操作的过程中也需要也离不开 ImageColor，ImageDraw 和ImageFont等
Image模块的常用方法：
1.导入和简单的文件读取
open()
PIL.Image.open(fp, mode='r', formats=None)
open(fp, mode='r')：打开一张图片，是Image模块中的函数。如果图片与当前代码在同一目录下，可以只写图片的文件名，其他情况需要拼接图片的路径。mode默认为'r'。我们通过代码打开刘亦菲的图片看一看
# 步骤一:导入 from PIL import Image # 步骤二: 打开图像 im = Image.open("刘亦菲.jpg") # 步骤三: 显示图像 im.show()
image对象往往会配合show方法打开图片:
show() 方法 ：调用图片显示软件打开图片。打开后程序会阻塞，需要手动关闭（就是弹出来的框需要手动关闭）
如果需要查看类似图像大小，格式之类的属性，可以通过image对象来查看，比如上面的刘亦菲的图片
# 步骤一:导入 from PIL import Image # 步骤二: 打开图像 im = Image.open("刘亦菲.jpg") print('size: ', im.size) print('mode: ', im.mode) print('format: ', im.format)
其中属性:
size属性是一个tuple，表示图像的宽和高（单位为像素）
format属性定义了图像的格式，如果图像不是从文件打开的，那么该属性值为None；
mode属性为表示图像的模式，常用的模式为：L为灰度图，RGB为真彩色，CMYK为pre-press图像
convert()函数 模式变换需要用到convert('对应的模式')，代码如下：
convert()函数
模式变换需要用到convert('对应的模式')，代码如下：
from PIL import Image # 演示几个模式进行对比即可 image = Image.open("刘亦菲.jpg") print(image.mode) image1 = image.convert('1') print(image1.mode) # image1.show() image_l = image.convert('L') print(image_l.mode) # image_l.show() image_p = image.convert('P') print(image_p.mode) image_p.show() image_p = image.convert('HSV') print(image_p.mode) image_p.show() image_p = image.convert('RGB') print(image_p.mode) image_p.show()
convert(self, mode=None, matrix=None, dither=None, palette=WEB, colors=256): 将图片转换为指定的模式，并且返回转换后的图片副本。如果不指定模式，则自动选择一种能保留图片所有信息且不使用调色板的模式(通常的结果是不转换)。mode就是我们想要转换的模式，比如：mode= 'L', mode='RGB'等
matrix，转换矩阵。传入该参数时，应该传入由浮点数构成的元组，元组长度为4或12。matrix只支持从少数模式转换成'L'或'RGB'。
new()函数
那除了打开现有的图片，我们还可以使用new新建一个image对象
new(mode, size, color=0): 创建一张图片(画布)，用于绘图，是Image模块中的函数.
1.mode，图片的模式，如“RGB”(red,green,blue三原色的缩写，真彩图像)、“L”(灰度，黑白图像)等。
2.size，图片的尺寸。是一个长度为2的元组(width, height)，表示的是像素大小。
3.color，图片的颜色，默认值为0表示黑色。可以传入长度为3的元组表示颜色，也可以传入颜色的十六进制，在版本1.1.4后，还可以直接传入颜色的英文单词，如上面代码中的(0, 0, 255)可以换成‘#0000FF’或‘blue’，都是表示蓝色。
from PIL import Image image = Image.new('RGB', (220, 150), (65, 122, 255)) image.show()
这时显示的的是一个如下图的图片（图片查看器打开之后的样子）：
可以跟new()结合使用的就是画画，比如我们常用的随机验证码就是用这个绘制出来的。
但是在绘制过程中我们会用到ImageDraw模块，ImageFont，ImageFilter模块等。我们来看一下吧（代码有点长～～～）！
import random from PIL import Image from PIL import ImageDraw,ImageFont,ImageFilter def get_color(): red = random.randint(0, 256) green = random.randint(0, 256) blue = random.randint(0, 256) return (red, green, blue) def get_code(lenght): s = '1234567890qwertyuiopasdfghjklzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM' code = '' for i in range(lenght): code += random.choice(s) return code def draw_code(): # 指定画布的长度和宽度 width = 120 height = 40 image_size = (width, height) # 定义画布 image = Image.new('RGB', image_size, get_color()) # 定义画笔 draw = ImageDraw.Draw(image) # 产生验证码 code = get_code() # 指定字体和字体大小,指定使用的字体tahoma.ttf，是从windows的fonts中复制的一种字体。 myfont = ImageFont.truetype(font='tahoma.ttf', size=30) # 逐个绘制验证码字符 for i in range(4): # 每绘制一个字符，x轴的位置要改变，y轴的可以不变 distance_x = random.randint(30 * i, 30 * i + 5) # [0,10] distance_y = random.randint(0, 5) draw.text((distance_x, distance_y), code[i], font=myfont, fill=get_color()) # 绘制干扰线 for i in range(10): # 指定起始和结束位置 begin = (random.randint(0, width), random.randint(0, height)) end = (random.randint(0, width), random.randint(0, height)) # 使用画笔绘制起始和结束位置，并通过fill指定颜色 draw.line((begin, end), fill=get_color()) # 绘制干扰点 for i in range(20): draw.point((random.randint(0, width), random.randint(0, height)), fill=get_color()) # 滤镜，边界加强 image = image.filter(ImageFilter.EDGE_ENHANCE_MORE) image.show()
代码中使用到了：
PIL.ImageDraw.Draw(im, mode=None) 创建可用于绘制给定图像的对象。
参数
- im -- 要绘制的图像。
- mode -- 用于颜色值的可选模式。对于RGB图像，此参数可以是RGB或RGBA（将图形混合到图像中）。对于所有其他模式，此参数必须与图像模式相同。如果忽略，则模式默认为图像的模式。
PIL.ImageFont.load(filename) 从文件或类似文件的对象加载TrueType或OpenType字体，然后创建字体对象。
此函数从给定的文件或类似文件的对象加载字体对象，并为给定大小的字体创建字体对象。
参数
- font -- 包含TrueType字体的文件名或类似文件的对象。如果在此文件名中找不到该文件，加载程序还可以在其他目录中搜索，例如 fonts/ Windows上的目录或 /Library/Fonts/ ， /System/Library/Fonts/ 和 ~/Library/Fonts/ 关于MaOS.
- size -- 请求的大小，以磅为单位。
ImageFilter模块包含一组预定义的筛选器的定义，比如有一组预定义的图像增强过滤器
图片的裁剪crop和缩放resize
crop(box=None)：裁剪图片，返回裁剪区域的图片。box表示裁剪的区域，传入长度为4的元组(x0, y0, x1, y1)，不传默认为拷贝原图，如果裁剪的区域超过了原图的区域，超出部分用像素格填充。
resize(size, resample=BICUBIC, box=None, reducing_gap=None)：缩放图片，返回缩放后的图片副本。
from PIL import Image image = Image.open("刘亦菲1.jpg") print(image.size) image_crop = image.crop(box=(300, 300, 800, 700)) image_crop.show() print('before resize: ', image.size) image_resize = image.resize((350,350), resample=Image.LANCZOS, box=(70,35,460,345) ,reducing_gap=5.0) print('after resize: ', image_resize.size) image_resize.show()
图片的旋转rotate和保存
rotate(angle, resample=NEAREST, expand=0, center=None, translate=None, fillcolor=None): 对图片进行旋转，返回一张旋转后的图片副本。有6个参数。
- angle, 旋转的角度。这个参数是一个必传参数，按角度制计算，按逆时针方向旋转。
- resample, 重采样，是一个可选的重采样过滤器。可以传入Image.NEAREST, Image.BILINEAR, Image.BICUBIC（三个依次是越来越清晰）。默认为Image.NEAREST出来的图片不太清晰。
- expand, 可扩展性。传入数字0或1，表示布尔值，默认为0。如果值为0，对图片旋转后，返回图片的尺寸与原图尺寸一样。如果值为1，则旋转后，返回图片的尺寸会根据旋转角度自动调整(如果旋转中心保持默认和没有进行平移，则返回图片中可以看到完整的原图)。
- center, 旋转的中心。传入长度为2的元组(x, y)，表示旋转中心的像素点。默认为原图的几何中心。
- translate, 平移的坐标。传入长度为2的元组(x, y)，将原图按(x, y)进行平移，默认为(0, 0)。
- fillcolor, 填充颜色。
from PIL import Image girl = Image.open('刘亦菲1.jpg') girl = girl.resize((375,470)) image = girl.rotate(15, resample = Image.BICUBIC, center=(150, 210), expand=1, translate=(30, 30), fillcolor='#E4C8C4') # print(image.size) image.show()
除了使用show()我们还可以使用save()进行本地化保存。
在给定文件名下保存此图像。如果未指定格式，则可以从文件扩展名确定要使用的格式（如果可能）。
Image.save(fp, format=None, **params)
- fp -- 文件名（字符串）、pathlib.path对象或文件对象。
- format -- 可选格式替代。如果省略，则使用的格式由文件扩展名决定。如果使用的是文件对象而不是文件名，则应始终使用此参数。
- params -- 图像编写器的额外参数。
image.save('保存路径')
除了旋转我们还可以转置和翻转
transpose(method): 转置或翻转图片，返回转置后的图片副本。
method可以传入Image.FLIP_LEFT_RIGHT（左右转置），Image.FLIP_TOP_BOTTOM（上下转置），Image.ROTATE_90（旋转90度），Image.ROTATE_180（旋转180度）, Image.ROTATE_270（旋转270度），Image.TRANSPOSE（先左右倒置然后逆时针旋转90度），Image.TRANSVERSE（先左右倒置然后顺时针旋转90度）。这些方法都是旋转90度和翻转组合的结果。
from PIL import Image image = Image.open("刘亦菲1.jpg") image1 = image.transpose(Image.FLIP_LEFT_RIGHT) image1.show() image2 = image.transpose(Image.FLIP_TOP_BOTTOM) image2.show() image3 = image.transpose(Image.ROTATE_180) image3.show() image4 = image.transpose(Image.TRANSVERSE) image4.show() image4 = image.transpose(Image.TRANSPOSE) image4.show()
最后就可以将处理后的图片进行保存了。
