Pandas数据读写操作

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Pandas数据读写操作

1.读/写文本文件


1.1文本文件的读取


文本文件是一种由若干行字符构成的计算机文件,它是一种典型的顺序文件。csv文件是一种以逗号分隔的文件格式,因为其分隔符不一定是逗号,又被称为字符分隔文件,文件以纯文本形式储存表格数据。


在Pandas中使用read_table函数来读取文本文件:


df1=pd.read_table('filepath',sep='\t',header='infer',names=None,index_col=None)

在Pandas中使用read_csv函数来读取CSV文件:


df2=pd.read_csv('filepath',ser=',',header='infer,names=None,index_col=None)


1.2文本文件的存储


df3.to_csv("df3.txt",mode='w')
df2.to_csv("df2.csv",mode="a")


2.读/写Excel文件


2.1Excel文件的读取


Pandas中使用read_excel函数读取xls合xlsx两种Excel文件


df=  pd.read_excel("filename.xls","Sheet1")
df=  pd.read_excel("filename.xlsx","Sheet1")


2.2Excel文件的存储


Pandas中使用to_excel方法将文件存储为Excel文件


df.to_excel('df.xls',mode='w')
df.to_excel('df.xlsx',mode='w')


3.JSON数据的读取与存储


3.1pandas读取JSON数据


使用read_json函数读取JSON数据,由于读取时会出现顺序错乱的问题,因此要对索引进行排序。


import pandas as pd
df=pd.read_json('filename')
df=df.sort_index#排序


3.2 JSON数据的存储


使用pd.to_json实现将数据存储为JSON文件。


df.to_json('df.json')


4.读取数据库文件


4.1Pandas读取MySQL数据


首先安装MySQLdb包,然后进行数据文件的读取。


import pandas as pd
import MySQLdb
conn=MySQLdb.connect(host=host,port=port,user=username,passwd=password,db=db_name)
df=pd.read_sql('select*from table_name',con=conn)
conn.close()


4.2 读取SQL Server中的数据


首先安装pymssql包,然后进行数据文件读取。


import pandas as pd
import pymssql
conn=pymssql.connect(host=host,port=port,user=username,passwd=password,database=database)
df=pd.read_sql('select*from table_name',con=conn)
conn.close()

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
Serverless 数据处理 索引
Pandas中的shift函数:轻松实现数据的前后移动
Pandas中的shift函数:轻松实现数据的前后移动
167 0
|
8天前
|
Python
|
8天前
|
Python
|
7天前
|
Python
Pandas 常用函数-数据合并
Pandas 常用函数-数据合并
23 1
|
8天前
|
索引 Python
Pandas 常用函数-数据排序
10月更文挑战第28天
8 1
|
8天前
|
Python
Pandas 常用函数-查看数据
Pandas 常用函数-查看数据
10 2
|
8天前
|
SQL JSON 数据库
Pandas 常用函数-读取数据
Pandas 常用函数-读取数据
10 2
|
12天前
|
Python
通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法
在金融分析领域,"死叉"指的是短期移动平均线(如MA5)下穿长期移动平均线(如MA10),而"金叉"则相反。本文介绍了一种利用Python编程语言,通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法。该方法首先计算两种移动平均线,接着确定它们的交叉点,最后检查并输出最近一次死叉及其后是否形成了金叉。此技术广泛应用于股市趋势分析。
28 2
|
7天前
|
Python
Pandas 常用函数-数据选择和过滤
Pandas 常用函数-数据选择和过滤
7 0
|
1月前
|
数据可视化 数据挖掘 数据处理
模型预测笔记(四):pandas_profiling生成数据报告
本文介绍了pandas_profiling库,它是一个Python工具,用于自动生成包含多种统计指标和可视化的详细HTML数据报告,支持大型数据集并允许自定义配置。安装命令为`pip install pandas_profiling`,使用示例代码`pfr = pandas_profiling.ProfileReport(data_train); pfr.to_file("./example.html")`。
39 1