使用Python读取xlsx表格数据并导入到MySQL数据库中时遇到的问题24

本文涉及的产品
RDSClaw,2核4GB
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: 【7月更文挑战第24天】使用Python读取xlsx表格数据并导入到MySQL数据库中

一、读取的数据中存在nan的值,如何转换为空字符串

1、第一种方式是判断如果为nan,修改nan的值

• import numpy as np
• nan = float('nan')
• print(np.isnan(nan))

2、第二种方法直接将nan替换为空字符串

• import pandas as pd
• import numpy as np
• data = pd.DataFrame({})
• data.replace(np.nan, '')

 

二、如何将pandas读取的excel数据转为字典对象

使用pandas读取数据后,迭代每一行,将每一行转换为字典后,组装成列表数据,就将所有数据转为字典了,可以通过标头的字段名获取对应的值。

• df = pd.read_excel(excelfile)
•  df = df.replace(np.nan,'')
• data = []
• for index,row in df.iterrows():
•     dictrow = row.to_dict()
•     data.append(dictrow)

三、如何读取文件夹下的所有文件名,遍历excel文件内容

通过 os库,的listdir方法,可以方便的获取对应目录的所有文件名列表,然后循环读取列表内容文件名就可以。

• import os
• exceldirr = './/file/yxexcel/'
• excelist = os.listdir(exceldirr)
• for filename in excelist:
•   excelfile = os.path.join(exceldirr,filename)

完整的读取exxcel表格代码。

• import numpy as np
• import pandas as pd
• import os
• from mysql_class import mysql
• msq = mysql()
• # 读取xlsx格式的数据
• def readexcel():
•     exceldirr = './/file/yxexcel/'
•     excelist = os.listdir(exceldirr)
• for filename in excelist:
•         excelfile = os.path.join(exceldirr,filename)
• print(f'读取文件{excelfile}')
• # excelfile = './file/a.xlsx'
•         df = pd.read_excel(excelfile)
•         df = df.replace(np.nan,'')
•         data = []
• for index,row in df.iterrows():
•             dictrow = row.to_dict()
•             data.append(dictrow)
• if data:
•             datapass(data)


怎么样是不是很简单。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
6月前
|
SQL 关系型数据库 数据库
Python SQLAlchemy模块:从入门到实战的数据库操作指南
免费提供Python+PyCharm编程环境,结合SQLAlchemy ORM框架详解数据库开发。涵盖连接配置、模型定义、CRUD操作、事务控制及Alembic迁移工具,以电商订单系统为例,深入讲解高并发场景下的性能优化与最佳实践,助你高效构建数据驱动应用。
791 7
|
7月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
8月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
7月前
|
人工智能 Java 关系型数据库
使用数据连接池进行数据库操作
使用数据连接池进行数据库操作
203 11
|
7月前
|
SQL 关系型数据库 MySQL
如何将Excel表的数据导入RDS MySQL数据库?
本文介绍如何通过数据管理服务DMS将Excel文件(转为CSV格式)导入RDS MySQL数据库,涵盖建表、编码设置、导入模式选择及审批执行流程,并提供操作示例与注意事项。
|
8月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
621 10
|
7月前
|
存储 数据库 开发者
Python SQLite模块:轻量级数据库的实战指南
本文深入讲解Python内置sqlite3模块的实战应用,涵盖数据库连接、CRUD操作、事务管理、性能优化及高级特性,结合完整案例,助你快速掌握SQLite在小型项目中的高效使用,是Python开发者必备的轻量级数据库指南。
643 0
|
8月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
805 0
|
分布式计算 关系型数据库 MySQL
E-Mapreduce如何处理RDS的数据
目前网站的一些业务数据存在了数据库中,这些数据往往需要做进一步的分析,如:需要跟一些日志数据关联分析,或者需要进行一些如机器学习的分析。在阿里云上,目前E-Mapreduce可以满足这类进一步分析的需求。
5194 0

推荐镜像

更多