使用Python批量合并Excel文件的所有Sheet数据

简介: 使用Python批量合并Excel文件的所有Sheet数据

在数据处理和分析的过程中,经常需要将多个Excel文件中的数据进行合并。特别是当这些文件分散在多个子文件夹内,且每个文件又包含多个Sheet时,手动合并这些数据会是一项繁琐且易出错的任务。Python作为一种强大的编程语言,提供了多种库和工具,可以方便地实现这一需求。本文将介绍四种使用Python批量合并同一文件夹内所有子文件夹下的Excel文件内所有Sheet数据的方法,并提供详细的代码和案例。

一、使用pandas和os库进行合并

pandas是一个强大的数据处理库,而os库则提供了与操作系统交互的功能。通过这两个库,我们可以遍历文件夹和子文件夹,读取Excel文件,并将数据合并到一个DataFrame中。

案例与代码实现

假设我们有一个名为excel_files的文件夹,其中包含多个子文件夹,每个子文件夹内都有若干个Excel文件。

import os  
import pandas as pd  
  
# 定义主文件夹路径  
main_folder = 'excel_files'  
  
# 初始化一个空的DataFrame用于存储所有数据  
all_data = pd.DataFrame()  
  
# 遍历主文件夹下的所有子文件夹和文件  
for root, dirs, files in os.walk(main_folder):  
    for file in files:  
        if file.endswith('.xlsx') or file.endswith('.xls'):  # 确保是Excel文件  
            file_path = os.path.join(root, file)  # 构建文件的完整路径  
            # 读取Excel文件中的所有Sheet  
            xls = pd.ExcelFile(file_path)  
            for sheet_name in xls.sheet_names:  
                df = pd.read_excel(xls, sheet_name=sheet_name)  
                # 将每个Sheet的数据追加到all_data中  
                all_data = all_data.append(df, ignore_index=True)  
  
# 将合并后的数据保存到新的Excel文件中  
all_data.to_excel('merged_data.xlsx', index=False)

这段代码首先定义了主文件夹路径,并初始化一个空的DataFrame。然后,使用os.walk()函数遍历主文件夹及其所有子文件夹中的文件。对于每个Excel文件,使用pd.ExcelFile()读取文件,并通过sheet_names属性获取所有Sheet的名称。接着,使用pd.read_excel()函数逐个读取Sheet中的数据,并将其追加到all_data DataFrame中。最后,将合并后的数据保存到新的Excel文件中。

二、使用glob和pandas库进行合并

glob库提供了在文件夹中查找文件路径的功能,结合pandas可以更方便地处理Excel文件。

案例与代码实现

import glob  
import pandas as pd  
  
# 定义主文件夹路径和搜索模式  
main_folder = 'excel_files'  
pattern = '**/*.xlsx'  # 搜索所有子文件夹中的.xlsx文件  
  
# 使用glob查找所有Excel文件路径  
all_files = glob.glob(main_folder + '/' + pattern, recursive=True)  
  
# 初始化一个空的DataFrame用于存储所有数据  
all_data = pd.DataFrame()  
  
# 遍历文件路径,读取数据并合并  
for file in all_files:  
    xls = pd.ExcelFile(file)  
    for sheet_name in xls.sheet_names:  
        df = pd.read_excel(xls, sheet_name=sheet_name)  
        all_data = all_data.append(df, ignore_index=True)  
  
# 保存合并后的数据  
all_data.to_excel('merged_data_glob.xlsx', index=False)

这段代码使用glob.glob()函数查找主文件夹及其所有子文件夹中的Excel文件路径。然后,与第一种方法类似,逐个读取每个文件中的所有Sheet数据,并将其合并到一个DataFrame中。最后,将合并后的数据保存到新的Excel文件中。

三、使用openpyxl库进行合并

openpyxl是一个用于读写Excel 2010 xlsx/xlsm/xltx/xltm文件的Python库。它可以更底层地操作Excel文件,提供更大的灵活性。

案例与代码实现

使用openpyxl进行合并通常涉及更复杂的操作,因为需要手动处理工作簿和工作表。这里仅提供一个大致的框架,具体实现会根据具体需求有所不同。

from openpyxl import load_workbook  
import os  
  
# 初始化一个新的工作簿用于存储合并后的数据  
merged_wb = load_workbook(write_only=True)
merged_ws = merged_wb.active
 
定义主文件夹路径
main_folder = 'excel_files'
 
遍历主文件夹下的所有子文件夹和文件
for root, dirs, files in os.walk(main_folder):
for file in files:
if file.endswith('.xlsx'): # 确保是Excel文件
file_path = os.path.join(root, file)
# 加载Excel文件
wb = load_workbook(filename=file_path, read_only=True)
# 遍历工作簿中的每个工作表
for sheet in wb.worksheets:
for row in sheet.iter_rows(values_only=True):
# 将行数据追加到合并后的工作表中
merged_ws.append(row)
 
保存合并后的工作簿
merged_wb.save('merged_data_openpyxl.xlsx')

这段代码创建了一个新的工作簿,并遍历主文件夹及其子文件夹中的所有Excel文件。对于每个文件,它加载工作簿并遍历其中的每个工作表。然后,使用`iter_rows()`方法逐行读取数据,并将其追加到合并后的工作表中。最后,保存合并后的工作簿。  

 

需要注意的是,`openpyxl`的`write_only`模式可以提高写入性能,但某些功能可能会受到限制。此外,这种方法假设所有工作表的结构都是相同的,如果结构不同,可能需要进行额外的处理。  

四、使用`xlrd`和`xlwt`库进行合并

(注意:`xlrd`库自2.0.0版本后不再支持.xlsx格式,仅支持.xls格式)  

 

`xlrd`和`xlwt`是两个用于读写老版Excel文件(.xls格式)的Python库。虽然它们对于处理新版的.xlsx文件有所限制,但对于.xls文件仍然有效。  

 

**案例与代码实现**  

 

由于`xlrd`不再支持.xlsx格式,这里仅提供一个处理.xls文件的示例。对于.xlsx文件,建议使用`pandas`或`openpyxl`。  

import os  
import xlrd  
import xlwt  
  
# 初始化一个新的工作簿用于存储合并后的数据  
merged_wb = xlwt.Workbook()  
merged_ws = merged_wb.add_sheet('MergedData')  
row_num = 0  
  
# 定义主文件夹路径  
main_folder = 'excel_xls_files'  
  
# 遍历主文件夹下的所有子文件夹和文件  
for root, dirs, files in os.walk(main_folder):  
    for file in files:  
        if file.endswith('.xls'):  # 确保是.xls文件  
            file_path = os.path.join(root, file)  
            # 加载Excel文件  
            wb = xlrd.open_workbook(file_path)  
            # 遍历工作簿中的每个工作表  
            for sheet in wb.sheets():  
                for row_idx in range(sheet.nrows):  
                    row_data = sheet.row_values(row_idx)  
                    # 将行数据写入合并后的工作表中  
                    for col_idx, value in enumerate(row_data):  
                        merged_ws.write(row_num, col_idx, value)  
                    row_num += 1  
  
# 保存合并后的工作簿  
merged_wb.save('merged_data_xlrd_xlwt.xls')

这段代码创建了一个新的工作簿和一个工作表,用于存储合并后的数据。然后,它遍历主文件夹及其子文件夹中的所有.xls文件,加载每个文件的工作簿,并遍历其中的每个工作表。对于每个工作表中的行,它读取行数据并将其写入合并后的工作表中。最后,保存合并后的工作簿。

总结:

本文介绍了四种使用Python批量合并同一文件夹内所有子文件夹下的Excel文件内所有Sheet数据的方法。这些方法分别使用了不同的库和工具,各有其优缺点。在实际应用中,可以根据具体需求和文件格式选择合适的方法。通过合理使用这些工具,可以大大提高数据处理和分析的效率。对于新手朋友来说,建议从简单的方法开始尝试,逐步掌握更高级的技巧和工具。


目录
相关文章
|
12天前
|
机器学习/深度学习 存储 算法
解锁文件共享软件背后基于 Python 的二叉搜索树算法密码
文件共享软件在数字化时代扮演着连接全球用户、促进知识与数据交流的重要角色。二叉搜索树作为一种高效的数据结构,通过有序存储和快速检索文件,极大提升了文件共享平台的性能。它依据文件名或时间戳等关键属性排序,支持高效插入、删除和查找操作,显著优化用户体验。本文还展示了用Python实现的简单二叉搜索树代码,帮助理解其工作原理,并展望了该算法在分布式计算和机器学习领域的未来应用前景。
|
1天前
|
数据采集 JSON 测试技术
如何在Python中高效实现CSV到JSON的数据转换
在实际项目中,数据格式转换是常见问题,尤其从CSV到JSON的转换。本文深入探讨了多种转换方法,涵盖Python基础实现、数据预处理、错误处理、性能优化及调试验证技巧。通过分块处理、并行处理等手段提升大文件转换效率,并介绍如何封装为命令行工具或Web API,实现自动化批量处理。关键点包括基础实现、数据清洗、异常捕获、性能优化和单元测试,确保转换流程稳定高效。
102 82
|
7天前
|
数据采集 数据安全/隐私保护 Python
从零开始:用Python爬取网站的汽车品牌和价格数据
在现代化办公室中,工程师小李和产品经理小张讨论如何获取懂车帝网站的汽车品牌和价格数据。小李提出使用Python编写爬虫,并通过亿牛云爬虫代理避免被封禁。代码实现包括设置代理、请求头、解析网页内容、多线程爬取等步骤,确保高效且稳定地抓取数据。小张表示理解并准备按照指导操作。
从零开始:用Python爬取网站的汽车品牌和价格数据
|
2天前
|
算法 Serverless 数据处理
从集思录可转债数据探秘:Python与C++实现的移动平均算法应用
本文探讨了如何利用移动平均算法分析集思录提供的可转债数据,帮助投资者把握价格趋势。通过Python和C++两种编程语言实现简单移动平均(SMA),展示了数据处理的具体方法。Python代码借助`pandas`库轻松计算5日SMA,而C++代码则通过高效的数据处理展示了SMA的计算过程。集思录平台提供了详尽且及时的可转债数据,助力投资者结合算法与社区讨论,做出更明智的投资决策。掌握这些工具和技术,有助于在复杂多变的金融市场中挖掘更多价值。
24 12
|
1天前
|
数据采集 存储 前端开发
用Python抓取亚马逊动态加载数据,一文读懂
用Python抓取亚马逊动态加载数据,一文读懂
|
22天前
|
监控 网络安全 开发者
Python中的Paramiko与FTP文件夹及文件检测技巧
通过使用 Paramiko 和 FTP 库,开发者可以方便地检测远程服务器上的文件和文件夹是否存在。Paramiko 提供了通过 SSH 协议进行远程文件管理的能力,而 `ftplib` 则提供了通过 FTP 协议进行文件传输和管理的功能。通过理解和应用这些工具,您可以更加高效地管理和监控远程服务器上的文件系统。
52 20
|
28天前
|
存储 数据采集 数据处理
如何在Python中高效地读写大型文件?
大家好,我是V哥。上一篇介绍了Python文件读写操作,今天聊聊如何高效处理大型文件。主要方法包括:逐行读取、分块读取、内存映射(mmap)、pandas分块处理CSV、numpy处理二进制文件、itertools迭代处理及linecache逐行读取。这些方法能有效节省内存,提升效率。关注威哥爱编程,学习更多Python技巧。
|
1月前
|
数据采集 Web App开发 数据可视化
Python用代理IP获取抖音电商达人主播数据
在当今数字化时代,电商直播成为重要的销售模式,抖音电商汇聚了众多达人主播。了解这些主播的数据对于品牌和商家至关重要。然而,直接从平台获取数据并非易事。本文介绍如何使用Python和代理IP高效抓取抖音电商达人主播的关键数据,包括主播昵称、ID、直播间链接、观看人数、点赞数和商品列表等。通过环境准备、代码实战及数据处理与可视化,最终实现定时任务自动化抓取,为企业决策提供有力支持。
|
29天前
|
存储 JSON 对象存储
如何使用 Python 进行文件读写操作?
大家好,我是V哥。本文介绍Python中文件读写操作的方法,包括文件读取、写入、追加、二进制模式、JSON、CSV和Pandas模块的使用,以及对象序列化与反序列化。通过这些方法,你可以根据不同的文件类型和需求,灵活选择合适的方式进行操作。希望对正在学习Python的小伙伴们有所帮助。欢迎关注威哥爱编程,全栈路上我们并肩前行。
|
1月前
|
存储 算法 Serverless
剖析文件共享工具背后的Python哈希表算法奥秘
在数字化时代,文件共享工具不可或缺。哈希表算法通过将文件名或哈希值映射到存储位置,实现快速检索与高效管理。Python中的哈希表可用于创建简易文件索引,支持快速插入和查找文件路径。哈希表不仅提升了文件定位速度,还优化了存储管理和多节点数据一致性,确保文件共享工具高效运行,满足多用户并发需求,推动文件共享领域向更高效、便捷的方向发展。

热门文章

最新文章