注：
- 本篇博客的文件合并主要是针对
.csv的文件合并。 - 关于文件合并的一些数据，我会放在我的
gitee里面，是关于新冠疫情的数据整理，需要的可以自行获取：covid19数据整理
一、单文件之间合并
首先，要查询目录底下的文件要导入OS。并且我们要将.csv文件以pandas的dataframe底下，因此要导入PANDAS，另外由于我们要遍历目录，因此导入 GLOB：
import os import pandas as pd import glob
注：
import os的作用:在python环境下对文件，文件夹执行操作的一个模块。
os.name返回当前系统 os.getcwd()返回当前的路径 os.remove(路径）删除路径下的文件
import glob的作用: glob是python自带的一个操作文件的相关模块，由于模块功能比较少，所以很容易掌握。用它可以查找符合特定规则的文件路径名。使用该模块查找文件，只需要用到： “*”, “?”, “[]”这三个匹配符;
”*”匹配0个或多个字符； ”?”匹配单个字符； ”[]”匹配指定范围内的字符，如：[0-9]匹配数字。
f1=open('../input/covid19temp/2020/12-30-2020.csv').read() f2=open('../input/covid19temp/2020/12-31-2020.csv').read() with open('f1112.csv','a+') as f: f.write('\n'+f1) f.write('\n'+f2)
合并完成之后就会多出一个f1112.csv文件：
然而打开f1112.csv后发现合并后的文件有一些脏数据没有整理：
这时候我们试试skiprows:
在读取文件的时候设置skiprows参数的值，设置为1,会跳过一行，这里是要将第二个文件的索引属性给去掉，因为已经和第一个文件合并了，而第一个文件有索引属性了。
f1=pd.read_csv('../input/covid19temp/2020/12-30-2020.csv') f2=pd.read_csv('../input/covid19temp/2020/12-31-2020.csv',skiprows=1) f1112=f1.append(f2)
f1112.to_csv('f1112.csv') # 导出该文件
在本地目录中打开该文件：
二、单个文件夹底下多个文件合并
csv_list=glob.glob('../input/covid19temp/2020/*.csv') # 如果不加上*的话拿到的就是目录的名称，如果加上*，拿到的就是完整的目录数据 print(csv_list)
for i in csv_list: fr=open(i,'r').read() with open('2020csvdata.csv','a') as f: f.write(fr) f.close() print('数据文件合并完成！')
csv_list=glob.glob('../input/covid19temp/2020/*') for i in csv_list: fr=open(i,'rb').read() with open('2020csvdata2.csv','ab') as f: f.write(fr) f.close() print('数据文件合并完成！')
csv_list=glob.glob('../input/covid19temp/2020/*') csvdatadf=pd.DataFrame() for i in csv_list: csvdata=pd.read_csv(i) csvdatadf=csvdatadf.append(csvdata) print('数据文件合并完成！')
合并之后使用pd.read_csv读取文件数据，一共有20W+的疫情数据记录：
三、多个文件夹底下多个文件合并
import os import pandas as pd import glob import openpyxl import numpy as np path='../input/covid19temp' # 写的路径 csv_lists=[] # 该列表的作用 # 是否更新目录判断： if os.path.isdir(path): #使用os.path.isdir判断path是否是路径 if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话，会帮忙加一个/ path+="/" print(path)
如上图所示，路径后面多了一个 ‘/’，否则路径会找不到
文件操作：
os.listdir()：列出路径下所有的文件os.path.join()：连接文件的作用os.path.isdir()：判断是否是文件夹
import os import pandas as pd import glob import openpyxl import numpy as np path='../input/covid19temp' # 写的路径 csv_lists=[] # 该列表的作用 # 是否更新目录判断： if os.path.isdir(path): #使用os.path.isdir判断path是否是路径 if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话，会帮忙加一个/ path+="/" print(path) for each in os.listdir(path):# os.listdir()： 列出路径下所有的文件 print(each)
import os import pandas as pd import glob import openpyxl import numpy as np path='../input/covid19temp' # 写的路径 csv_lists=[] # 该列表的作用 # 是否更新目录判断： if os.path.isdir(path): #使用os.path.isdir判断path是否是路径 if not path.endswith("/"):# 如果该路径的最后没有加上'/'的话，会帮忙加一个/ path+="/" print(path) for each in os.listdir(path):# os.listdir()： 列出路径下所有的文件 print(each) sub_path=path+each path_list=[] if os.path.isdir(sub_path): path_list.append(sub_path) csv_lists.append(path_list) # 生成主目录下路径列表（非文件） # 根据路径进行路径下文件列表的生成 csvlists=[] for i in range(len(csv_lists)): # print(i) csvlists.append(glob.glob(csv_lists[i][0]+'/*.csv')) csvlists # 获取每年的文件路径 csvfilelist=[] for j in range(len(csvlists)): for k in csvlists[j]: csvfilelist.append(k) csvfilelist csvdatadf=pd.DataFrame() for m in csvfilelist: filesize=os.path.getsize(m) if filesize>0: csvdata=pd.read_csv(m) csvdatadf=csvdatadf.append(csvdata) else: continue print('数据合并完成')
四、多文件夹[函数递归]
import os import pandas as pd def mergeFiles(parent,path="",pathdeep=0): fileAbsPath=os.path.join(parent,path) if os.path.isdir(fileAbsPath)==True: if (pathdeep!=0 and('.ipynb_checkpoints' not in str(fileAbsPath))): print('=='+path) for filename2 in os.listdir(fileAbsPath): mergeFiles(fileAbsPath,filename2,pathdeep=pathdeep+1) else: print(path) path=input("请输入需要的文件注主目录：") mergeFiles(path)
