Pandas数据读写操作

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Pandas数据读写操作

1.读/写文本文件


1.1文本文件的读取


文本文件是一种由若干行字符构成的计算机文件,它是一种典型的顺序文件。csv文件是一种以逗号分隔的文件格式,因为其分隔符不一定是逗号,又被称为字符分隔文件,文件以纯文本形式储存表格数据。


在Pandas中使用read_table函数来读取文本文件:


df1=pd.read_table('filepath',sep='\t',header='infer',names=None,index_col=None)

在Pandas中使用read_csv函数来读取CSV文件:


df2=pd.read_csv('filepath',ser=',',header='infer,names=None,index_col=None)


1.2文本文件的存储


df3.to_csv("df3.txt",mode='w')
df2.to_csv("df2.csv",mode="a")


2.读/写Excel文件


2.1Excel文件的读取


Pandas中使用read_excel函数读取xls合xlsx两种Excel文件


df=  pd.read_excel("filename.xls","Sheet1")
df=  pd.read_excel("filename.xlsx","Sheet1")


2.2Excel文件的存储


Pandas中使用to_excel方法将文件存储为Excel文件


df.to_excel('df.xls',mode='w')
df.to_excel('df.xlsx',mode='w')


3.JSON数据的读取与存储


3.1pandas读取JSON数据


使用read_json函数读取JSON数据,由于读取时会出现顺序错乱的问题,因此要对索引进行排序。


import pandas as pd
df=pd.read_json('filename')
df=df.sort_index#排序


3.2 JSON数据的存储


使用pd.to_json实现将数据存储为JSON文件。


df.to_json('df.json')


4.读取数据库文件


4.1Pandas读取MySQL数据


首先安装MySQLdb包,然后进行数据文件的读取。


import pandas as pd
import MySQLdb
conn=MySQLdb.connect(host=host,port=port,user=username,passwd=password,db=db_name)
df=pd.read_sql('select*from table_name',con=conn)
conn.close()


4.2 读取SQL Server中的数据


首先安装pymssql包,然后进行数据文件读取。


import pandas as pd
import pymssql
conn=pymssql.connect(host=host,port=port,user=username,passwd=password,database=database)
df=pd.read_sql('select*from table_name',con=conn)
conn.close()

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
Python
使用 Pandas 库时,如何处理数据的重复值?
在使用Pandas处理数据重复值时,需要根据具体的数据特点和分析需求,选择合适的方法来确保数据的准确性和唯一性。
109 8
|
3月前
|
Serverless 数据处理 索引
Pandas中的shift函数:轻松实现数据的前后移动
Pandas中的shift函数:轻松实现数据的前后移动
249 0
|
1天前
|
数据挖掘 索引 Python
Pandas数据读取:CSV文件
Pandas 是 Python 中强大的数据分析库,`read_csv` 函数用于从 CSV 文件中读取数据。本文介绍 `read_csv` 的基本用法、常见问题及其解决方案,并通过代码案例详细说明。涵盖导入库、读取文件、指定列名和分隔符、处理文件路径错误、编码问题、大文件读取、数据类型问题、日期时间解析、空值处理、跳过行、指定索引列等。高级用法包括自定义列名映射、处理多行标题和注释行。希望本文能帮助你更高效地使用 Pandas 进行数据读取和处理。
27 13
|
1月前
|
Python
|
1月前
|
Python
|
1月前
|
Python
Pandas 常用函数-数据合并
Pandas 常用函数-数据合并
37 1
|
1月前
|
索引 Python
Pandas 常用函数-数据排序
10月更文挑战第28天
14 1
|
1月前
|
Python
Pandas 常用函数-查看数据
Pandas 常用函数-查看数据
16 2
|
1月前
|
SQL JSON 数据库
Pandas 常用函数-读取数据
Pandas 常用函数-读取数据
17 2
|
1月前
|
Python
通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法
在金融分析领域,"死叉"指的是短期移动平均线(如MA5)下穿长期移动平均线(如MA10),而"金叉"则相反。本文介绍了一种利用Python编程语言,通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法。该方法首先计算两种移动平均线,接着确定它们的交叉点,最后检查并输出最近一次死叉及其后是否形成了金叉。此技术广泛应用于股市趋势分析。
51 2