使用Python读取xlsx表格数据并导入到MySQL数据库中时遇到的问题24

简介: 【7月更文挑战第24天】使用Python读取xlsx表格数据并导入到MySQL数据库中

一、读取的数据中存在nan的值,如何转换为空字符串

1、第一种方式是判断如果为nan,修改nan的值

• import numpy as np
• nan = float('nan')
• print(np.isnan(nan))

2、第二种方法直接将nan替换为空字符串

• import pandas as pd
• import numpy as np
• data = pd.DataFrame({})
• data.replace(np.nan, '')

 

二、如何将pandas读取的excel数据转为字典对象

使用pandas读取数据后,迭代每一行,将每一行转换为字典后,组装成列表数据,就将所有数据转为字典了,可以通过标头的字段名获取对应的值。

• df = pd.read_excel(excelfile)
•  df = df.replace(np.nan,'')
• data = []
• for index,row in df.iterrows():
•     dictrow = row.to_dict()
•     data.append(dictrow)

三、如何读取文件夹下的所有文件名,遍历excel文件内容

通过 os库,的listdir方法,可以方便的获取对应目录的所有文件名列表,然后循环读取列表内容文件名就可以。

• import os
• exceldirr = './/file/yxexcel/'
• excelist = os.listdir(exceldirr)
• for filename in excelist:
•   excelfile = os.path.join(exceldirr,filename)

完整的读取exxcel表格代码。

• import numpy as np
• import pandas as pd
• import os
• from mysql_class import mysql
• msq = mysql()
• # 读取xlsx格式的数据
• def readexcel():
•     exceldirr = './/file/yxexcel/'
•     excelist = os.listdir(exceldirr)
• for filename in excelist:
•         excelfile = os.path.join(exceldirr,filename)
• print(f'读取文件{excelfile}')
• # excelfile = './file/a.xlsx'
•         df = pd.read_excel(excelfile)
•         df = df.replace(np.nan,'')
•         data = []
• for index,row in df.iterrows():
•             dictrow = row.to_dict()
•             data.append(dictrow)
• if data:
•             datapass(data)


怎么样是不是很简单。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
10月前
|
数据采集 Web App开发 数据可视化
Python零基础爬取东方财富网股票行情数据指南
东方财富网数据稳定、反爬宽松,适合爬虫入门。本文详解使用Python抓取股票行情数据,涵盖请求发送、HTML解析、动态加载处理、代理IP切换及数据可视化,助你快速掌握金融数据爬取技能。
8340 1
|
10月前
|
Java 数据挖掘 数据处理
(Pandas)Python做数据处理必选框架之一!(一):介绍Pandas中的两个数据结构;刨析Series:如何访问数据;数据去重、取众数、总和、标准差、方差、平均值等;判断缺失值、获取索引...
Pandas 是一个开源的数据分析和数据处理库,它是基于 Python 编程语言的。 Pandas 提供了易于使用的数据结构和数据分析工具,特别适用于处理结构化数据,如表格型数据(类似于Excel表格)。 Pandas 是数据科学和分析领域中常用的工具之一,它使得用户能够轻松地从各种数据源中导入数据,并对数据进行高效的操作和分析。 Pandas 主要引入了两种新的数据结构:Series 和 DataFrame。
776 0
|
10月前
|
JSON 算法 API
Python采集淘宝商品评论API接口及JSON数据返回全程指南
Python采集淘宝商品评论API接口及JSON数据返回全程指南
|
10月前
|
JSON API 数据安全/隐私保护
Python采集淘宝拍立淘按图搜索API接口及JSON数据返回全流程指南
通过以上流程,可实现淘宝拍立淘按图搜索的完整调用链路,并获取结构化的JSON商品数据,支撑电商比价、智能推荐等业务场景。
|
11月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
11月前
|
JSON API 数据安全/隐私保护
Python采集淘宝评论API接口及JSON数据返回全流程指南
Python采集淘宝评论API接口及JSON数据返回全流程指南
|
11月前
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。
|
11月前
|
SQL 关系型数据库 MySQL
如何将Excel表的数据导入RDS MySQL数据库?
本文介绍如何通过数据管理服务DMS将Excel文件(转为CSV格式)导入RDS MySQL数据库,涵盖建表、编码设置、导入模式选择及审批执行流程,并提供操作示例与注意事项。
|
11月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
634 158
|
11月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。

热门文章

最新文章

推荐镜像

更多