python结合openpyxl获取数据并写到excel和csv文件中

简介: python结合openpyxl获取数据并写到excel和csv文件中

 

需求背景:在工作中很少情况会去统计后台菜单与功能,不巧的是最近我们公司收购了其他公司的产品,包括一些后台系统;

有一次登进去瞄了一眼,里面的菜单着实有点多,还包含很多二级、三级、四级等等菜单。

那避免不了去统计菜单的活了,脑海里一下子就有了2中方法:

1、就是使用抓包方式去从页面元素里抓取并且处理;(过程这次咱就不说了)

2、还可以通过接口返回的菜单数据进行获取处理。(这次就说下这个)

       下面我会使用2种方式进行实现:

优化前(使用比较笨拙的方法):

缺点:显而易见的代码量太多了,而且每增加一层目录就要新增几行代码,显得不怎么智能!

先判断大概最多的菜单层级是几层,然后确定输出几层菜单数据(我这里创建了5层菜单):

# menuType = F(操作功能)不是菜单,不需要统计   M(一级目录)  C(二级目录) S (二级页面)
# 遍历菜单数据并输出有层级的目录
def print_menu(menu_list,row_index=2):
    # 创建表格
    wb_1 = openpyxl.Workbook()
    # 创建目录
    sheet = wb_1.create_sheet('菜单目录', 0)
    # 创建一级目录title
    sheet.cell(1, 1, '一级目录')
    # 遍历嵌套的字典
    for menu_dic in menu_list:
        # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
        if menu_dic['menuType'] != 'F':
            # 提取字典中的menuName字段值,存放到表格中
            sheet.cell(row_index, 1, menu_dic['menuName'])
            row_index += 1
            # 判断是否存在子菜单
            if 'menuTreeDtos' in menu_dic and menu_dic['menuTreeDtos'] is not None:
                # 创建二级目录title
                sheet.cell(1, 2, '二级目录')
                # 存在,则遍历列表中的字典
                for child_1 in menu_dic['menuTreeDtos']:
                    # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                    if child_1['menuType'] != 'F':
                        sheet.cell(row_index, 2, child_1['menuName'])
                        row_index += 1
                        # 判断是否存在子菜单
                        if 'menuTreeDtos' in child_1 and child_1['menuTreeDtos'] is not None:
                            # 创建三级目录title
                            sheet.cell(1, 3, '三级目录')
                            for child_2 in child_1['menuTreeDtos']:
                                # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                if child_2['menuType'] != 'F':
                                    sheet.cell(row_index, 3, child_2['menuName'])
                                    row_index += 1
                                    if 'menuTreeDtos' in child_2 and child_2['menuTreeDtos'] is not None:
                                        # 创建四级目录title
                                        sheet.cell(1, 4, '四级目录')
                                        for child_3 in child_2['menuTreeDtos']:
                                            # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                            if child_3['menuType'] != 'F':
                                                sheet.cell(row_index, 4, child_3['menuName'])
                                                row_index += 1
                                                if 'menuTreeDtos' in child_3 and child_3['menuTreeDtos'] is not None:
                                                    # 创建五级目录title
                                                    sheet.cell(1, 5, '五级目录')
                                                    for child_4 in child_3['menuTreeDtos']:
                                                        # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                                        if child_4['menuType'] != 'F':
                                                            sheet.cell(row_index, 5, child_4['menuName'])
                                                            row_index += 1
    print('row_index的值为', row_index - 1)
    wb_1.save('data.xlsx')
    xlsx_to_csv('data.xlsx','data.csv')

查看xlsx表格数据:

我们数据从哪里来呢?

1、接口返回(使用requests库)

2、直接把返回数据复制到文本里,然后使用上下文管理器去读取数据

menu.text文件内容大概是这样的:

写个读取文件内容的方法:

with open('./menu.text', encoding='utf-8', mode='r+') as f:
    json_str = f.readlines()[0]
    # print(json_str)
# 解析JSON字符串获取菜单数据
menu_data = json.loads(json_str)

如果我想把excel里的数据写到csv里 可以吗?

当然可以~

def xlsx_to_csv(filename1, filename2):
    workbook = openpyxl.load_workbook(filename1)
    table = workbook.active
    # utf-8-sig: 可以解决中文乱码问题
    with open(filename2, "w+", encoding="utf-8-sig") as f:
        import csv
        write = csv.writer(f)
        data = []
        for i in range(1, table.max_row + 1):
            row_stack = []
            for j in range(1, table.max_column + 1):
                row_stack.append(table.cell(row=i, column=j).value)
            data.append(row_stack)
        write.writerows(data)
        print('转换成功!!!')

csv文件的内容大概是这样的:

优化后(使用递归):

这个方法明显代码量减少了很多了,而且后期不需要一次一次的因为层级改变去增减代码!

# 创建表格
wb_1 = openpyxl.Workbook()
# 创建目录
sheet = wb_1.create_sheet('菜单目录', 0)
row_index=1
sheet.cell(1, 1, '1级目录')
sheet.cell(1, 7, '功能目录')
# 递归函数,遍历节点并记录每一层级的menuName值
def print_menu(data,col_index):
    global  row_index
    if isinstance(data,dict):
        # print(data)
        for k_list in data.keys():
            if "menuName" in k_list:
                row_index += 1
                if data["menuType"]!="F":
                    print(data)
                    sheet.cell(row_index, col_index-1, data['menuName'])
                    if 'menuTreeDtos' in data and data['menuTreeDtos'] is not None:
                        print("row_index:",row_index)
                        print("col_index:",col_index)
                        print_menu(data['menuTreeDtos'],col_index)
                else:
                    sheet.cell(row_index, 7, data['menuName'])
    else:
        for i in data:
            sheet.cell(1, col_index+1, f'{col_index+1}级目录')
            print_menu(i,col_index+1)
# 输出有层级的目录并返回结果列表
result = print_menu(menu_data,1)
wb_1.save('data_1.xlsx')

写进表格里的数据为:

看上去是不是轻便很多

相关文章
|
5月前
|
数据可视化 Linux iOS开发
Python脚本转EXE文件实战指南:从原理到操作全解析
本教程详解如何将Python脚本打包为EXE文件,涵盖PyInstaller、auto-py-to-exe和cx_Freeze三种工具,包含实战案例与常见问题解决方案,助你轻松发布独立运行的Python程序。
1415 2
|
4月前
|
监控 机器人 编译器
如何将python代码打包成exe文件---PyInstaller打包之神
PyInstaller可将Python程序打包为独立可执行文件,无需用户安装Python环境。它自动分析代码依赖,整合解释器、库及资源,支持一键生成exe,方便分发。使用pip安装后,通过简单命令即可完成打包,适合各类项目部署。
902 68
|
4月前
|
人工智能 Java Linux
Python高效实现Excel转PDF:无Office依赖的轻量化方案
本文介绍无Office依赖的Python方案,利用Spire.XLS、python-office、Aspose.Cells等库实现Excel与PDF高效互转。支持跨平台部署、批量处理、格式精准控制,适用于服务器环境及自动化办公场景,提升转换效率与系统稳定性。
571 7
|
4月前
|
机器学习/深度学习 监控 数据挖掘
Python 高效清理 Excel 空白行列:从原理到实战
本文介绍如何使用Python的openpyxl库自动清理Excel中的空白行列。通过代码实现高效识别并删除无数据的行与列,解决文件臃肿、读取错误等问题,提升数据处理效率与准确性,适用于各类批量Excel清理任务。
522 0
|
6月前
|
缓存 数据可视化 Linux
Python文件/目录比较实战:排除特定类型的实用技巧
本文通过四个实战案例,详解如何使用Python比较目录差异并灵活排除特定文件,涵盖基础比较、大文件处理、跨平台适配与可视化报告生成,助力开发者高效完成目录同步与数据校验任务。
224 0
|
7月前
|
安全 Linux 网络安全
Python极速搭建局域网文件共享服务器:一行命令实现HTTPS安全传输
本文介绍如何利用Python的http.server模块,通过一行命令快速搭建支持HTTPS的安全文件下载服务器,无需第三方工具,3分钟部署,保障局域网文件共享的隐私与安全。
1722 0
|
5月前
|
数据采集 机器学习/深度学习 人工智能
Python:现代编程的首选语言
Python:现代编程的首选语言
543 102
|
5月前
|
数据采集 机器学习/深度学习 算法框架/工具
Python:现代编程的瑞士军刀
Python:现代编程的瑞士军刀
402 104
|
5月前
|
人工智能 自然语言处理 算法框架/工具
Python:现代编程的首选语言
Python:现代编程的首选语言
313 103
|
5月前
|
机器学习/深度学习 人工智能 数据挖掘
Python:现代编程的首选语言
Python:现代编程的首选语言
249 82

推荐镜像

更多