python结合openpyxl获取数据并写到excel和csv文件中

简介: python结合openpyxl获取数据并写到excel和csv文件中

 

需求背景:在工作中很少情况会去统计后台菜单与功能,不巧的是最近我们公司收购了其他公司的产品,包括一些后台系统;

有一次登进去瞄了一眼,里面的菜单着实有点多,还包含很多二级、三级、四级等等菜单。

那避免不了去统计菜单的活了,脑海里一下子就有了2中方法:

1、就是使用抓包方式去从页面元素里抓取并且处理;(过程这次咱就不说了)

2、还可以通过接口返回的菜单数据进行获取处理。(这次就说下这个)

       下面我会使用2种方式进行实现:

优化前(使用比较笨拙的方法):

缺点:显而易见的代码量太多了,而且每增加一层目录就要新增几行代码,显得不怎么智能!

先判断大概最多的菜单层级是几层,然后确定输出几层菜单数据(我这里创建了5层菜单):

# menuType = F(操作功能)不是菜单,不需要统计   M(一级目录)  C(二级目录) S (二级页面)
# 遍历菜单数据并输出有层级的目录
def print_menu(menu_list,row_index=2):
    # 创建表格
    wb_1 = openpyxl.Workbook()
    # 创建目录
    sheet = wb_1.create_sheet('菜单目录', 0)
    # 创建一级目录title
    sheet.cell(1, 1, '一级目录')
    # 遍历嵌套的字典
    for menu_dic in menu_list:
        # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
        if menu_dic['menuType'] != 'F':
            # 提取字典中的menuName字段值,存放到表格中
            sheet.cell(row_index, 1, menu_dic['menuName'])
            row_index += 1
            # 判断是否存在子菜单
            if 'menuTreeDtos' in menu_dic and menu_dic['menuTreeDtos'] is not None:
                # 创建二级目录title
                sheet.cell(1, 2, '二级目录')
                # 存在,则遍历列表中的字典
                for child_1 in menu_dic['menuTreeDtos']:
                    # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                    if child_1['menuType'] != 'F':
                        sheet.cell(row_index, 2, child_1['menuName'])
                        row_index += 1
                        # 判断是否存在子菜单
                        if 'menuTreeDtos' in child_1 and child_1['menuTreeDtos'] is not None:
                            # 创建三级目录title
                            sheet.cell(1, 3, '三级目录')
                            for child_2 in child_1['menuTreeDtos']:
                                # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                if child_2['menuType'] != 'F':
                                    sheet.cell(row_index, 3, child_2['menuName'])
                                    row_index += 1
                                    if 'menuTreeDtos' in child_2 and child_2['menuTreeDtos'] is not None:
                                        # 创建四级目录title
                                        sheet.cell(1, 4, '四级目录')
                                        for child_3 in child_2['menuTreeDtos']:
                                            # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                            if child_3['menuType'] != 'F':
                                                sheet.cell(row_index, 4, child_3['menuName'])
                                                row_index += 1
                                                if 'menuTreeDtos' in child_3 and child_3['menuTreeDtos'] is not None:
                                                    # 创建五级目录title
                                                    sheet.cell(1, 5, '五级目录')
                                                    for child_4 in child_3['menuTreeDtos']:
                                                        # 判断是否为功能菜单还是目录菜单,不需要输出功能菜单
                                                        if child_4['menuType'] != 'F':
                                                            sheet.cell(row_index, 5, child_4['menuName'])
                                                            row_index += 1
    print('row_index的值为', row_index - 1)
    wb_1.save('data.xlsx')
    xlsx_to_csv('data.xlsx','data.csv')

查看xlsx表格数据:

我们数据从哪里来呢?

1、接口返回(使用requests库)

2、直接把返回数据复制到文本里,然后使用上下文管理器去读取数据

menu.text文件内容大概是这样的:

写个读取文件内容的方法:

with open('./menu.text', encoding='utf-8', mode='r+') as f:
    json_str = f.readlines()[0]
    # print(json_str)
# 解析JSON字符串获取菜单数据
menu_data = json.loads(json_str)

如果我想把excel里的数据写到csv里 可以吗?

当然可以~

def xlsx_to_csv(filename1, filename2):
    workbook = openpyxl.load_workbook(filename1)
    table = workbook.active
    # utf-8-sig: 可以解决中文乱码问题
    with open(filename2, "w+", encoding="utf-8-sig") as f:
        import csv
        write = csv.writer(f)
        data = []
        for i in range(1, table.max_row + 1):
            row_stack = []
            for j in range(1, table.max_column + 1):
                row_stack.append(table.cell(row=i, column=j).value)
            data.append(row_stack)
        write.writerows(data)
        print('转换成功!!!')

csv文件的内容大概是这样的:

优化后(使用递归):

这个方法明显代码量减少了很多了,而且后期不需要一次一次的因为层级改变去增减代码!

# 创建表格
wb_1 = openpyxl.Workbook()
# 创建目录
sheet = wb_1.create_sheet('菜单目录', 0)
row_index=1
sheet.cell(1, 1, '1级目录')
sheet.cell(1, 7, '功能目录')
# 递归函数,遍历节点并记录每一层级的menuName值
def print_menu(data,col_index):
    global  row_index
    if isinstance(data,dict):
        # print(data)
        for k_list in data.keys():
            if "menuName" in k_list:
                row_index += 1
                if data["menuType"]!="F":
                    print(data)
                    sheet.cell(row_index, col_index-1, data['menuName'])
                    if 'menuTreeDtos' in data and data['menuTreeDtos'] is not None:
                        print("row_index:",row_index)
                        print("col_index:",col_index)
                        print_menu(data['menuTreeDtos'],col_index)
                else:
                    sheet.cell(row_index, 7, data['menuName'])
    else:
        for i in data:
            sheet.cell(1, col_index+1, f'{col_index+1}级目录')
            print_menu(i,col_index+1)
# 输出有层级的目录并返回结果列表
result = print_menu(menu_data,1)
wb_1.save('data_1.xlsx')

写进表格里的数据为:

看上去是不是轻便很多

相关文章
|
4天前
|
监控 网络安全 开发者
Python中的Paramiko与FTP文件夹及文件检测技巧
通过使用 Paramiko 和 FTP 库,开发者可以方便地检测远程服务器上的文件和文件夹是否存在。Paramiko 提供了通过 SSH 协议进行远程文件管理的能力,而 `ftplib` 则提供了通过 FTP 协议进行文件传输和管理的功能。通过理解和应用这些工具,您可以更加高效地管理和监控远程服务器上的文件系统。
38 20
|
10天前
|
存储 数据采集 数据处理
如何在Python中高效地读写大型文件?
大家好,我是V哥。上一篇介绍了Python文件读写操作,今天聊聊如何高效处理大型文件。主要方法包括:逐行读取、分块读取、内存映射(mmap)、pandas分块处理CSV、numpy处理二进制文件、itertools迭代处理及linecache逐行读取。这些方法能有效节省内存,提升效率。关注威哥爱编程,学习更多Python技巧。
|
11天前
|
存储 JSON 对象存储
如何使用 Python 进行文件读写操作?
大家好,我是V哥。本文介绍Python中文件读写操作的方法,包括文件读取、写入、追加、二进制模式、JSON、CSV和Pandas模块的使用,以及对象序列化与反序列化。通过这些方法,你可以根据不同的文件类型和需求,灵活选择合适的方式进行操作。希望对正在学习Python的小伙伴们有所帮助。欢迎关注威哥爱编程,全栈路上我们并肩前行。
|
26天前
|
存储 算法 Serverless
剖析文件共享工具背后的Python哈希表算法奥秘
在数字化时代,文件共享工具不可或缺。哈希表算法通过将文件名或哈希值映射到存储位置,实现快速检索与高效管理。Python中的哈希表可用于创建简易文件索引,支持快速插入和查找文件路径。哈希表不仅提升了文件定位速度,还优化了存储管理和多节点数据一致性,确保文件共享工具高效运行,满足多用户并发需求,推动文件共享领域向更高效、便捷的方向发展。
|
9月前
|
存储 数据处理 Python
Python中读写CSV文件的深入探讨
Python中读写CSV文件的深入探讨
84 0
|
2月前
|
人工智能 数据可视化 数据挖掘
探索Python编程:从基础到高级
在这篇文章中,我们将一起深入探索Python编程的世界。无论你是初学者还是有经验的程序员,都可以从中获得新的知识和技能。我们将从Python的基础语法开始,然后逐步过渡到更复杂的主题,如面向对象编程、异常处理和模块使用。最后,我们将通过一些实际的代码示例,来展示如何应用这些知识解决实际问题。让我们一起开启Python编程的旅程吧!
|
2月前
|
存储 数据采集 人工智能
Python编程入门:从零基础到实战应用
本文是一篇面向初学者的Python编程教程,旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点,然后通过一个简单的例子展示了如何编写Python代码。接下来,文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后,文章通过一个实战项目——制作一个简单的计算器程序,帮助读者巩固所学知识并提高编程技能。
|
2月前
|
Unix Linux 程序员
[oeasy]python053_学编程为什么从hello_world_开始
视频介绍了“Hello World”程序的由来及其在编程中的重要性。从贝尔实验室诞生的Unix系统和C语言说起,讲述了“Hello World”作为经典示例的起源和流传过程。文章还探讨了C语言对其他编程语言的影响,以及它在系统编程中的地位。最后总结了“Hello World”、print、小括号和双引号等编程概念的来源。
122 80