需要源码和数据集请点赞关注收藏后评论区留言私信~~~
对于数据分析而言，数据大部分来源于外部数据，如常用的CSV文件、Excel文件和数据库文件等。Pandas库将外部数据转换为DataFrame数据格式，处理完成后再存储到相应的外部文件中
Pandas 常用的导入格式：import pandas as pd
1 文本文件读取
文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件
txt文件：是Windows操作系统上附带的一种文本格式，文件以.txt为后缀
CSV文件：是Comma-Separated Values的缩写，用半角逗号（’,’）作为字段值的分隔符。文件以纯文本形式存储表格数据
Pandas中使用read_table来读取文本文件
pandas.read_table(filepath_or_buffer, sep=’\t’, header=’infer’, names=None, index_col=None, dtype=None, engine=None, nrows=None)
Pandas中使用read_csv函数来读取CSV文件
pandas.read_csv(filepath_or_buffer, sep=’，’, header=’infer’, names=None, index_col=None, dtype=None, engine=None, nrows=None)
表5-1 read_table和read_csv常用参数及其说明
下面利用read_csv函数读取csv文件
df1 = pd.read_csv("data//sunspots.csv") #读取CSV文件到DataFrame中 print(df1.sample(5)) df2 = pd.read_table("data//sunspots.csv",sep = ",") #使用read_table，并指定分隔符 print("------------------") print(df2.sample(5)) df3 = pd.read_csv("data//sunspots.csv",names = ["a","b"]) #文件不包含表头行，允许自动分配默认列名，也可以指定列名 print("------------------") print(df3.sample(5))
2. 文本文件的存储
文本文件的存储和读取类似，结构化数据可以通过pandas中的to_csv函数实现以CSV文件格式存储文件
DataFrame.to_csv(path_or_buf = None, sep = ’,’, na_rep, columns=None, header=True, index=True, index_label=None, mode=’w’, encoding=None)
2 读/写Excel文件
1. Excel文件的读取
Pandas提供了read_excel函数读取“xls”和“xlsx”两种excel文件，其格式为
pandas.read_excel(io, sheetname, header=0, index_col=None, names=None, dtype)
read_excel函数和read_table函数的部分参数相同
表5-2 Pandas读写Excel文件
读取excel文件
xlsx = "data//data_test.xlsx" df1 = pd.read_excel(xlsx,"Sheet1") print(df1) #也可以直接利用： df2 = pd.read_excel("data//data_test.xlsx","Sheet1") print("-------------------------------") print(df2)
2. Excel文件的存储
将文件存储为Excel文件，可使用to_excel方法。其语法格式如下
DataFrame.to_excel(excel_writer=None, sheetname=None’, na_rep=”, header=True, index=True, index_label=None, mode=’w’, encoding=None)
与 to_csv方法的常用参数基本一致，区别之处在于指定存储文件的文件路径参数excel_writer，增加了一个sheetnames参数，用来指定存储的Excel sheet的名称，默认为sheet1
3 JSON数据的读取与存储
JSON (JavaScript Object Notation) 数据是一种轻量级的数据交换格式，因其简洁和清晰的层次结构使其成为了理想的数据交换语言。JSON数据使用大括号来区分表示并存储
1. Pandas读取JSON数据
Pandas通过read_json函数读取JSON数据。读取代码如下
import pandas as pd df=pd.read_json(‘FileName’) df=df.sort_index
2. JSON数据的存储
Pandas使用pd.to_json实现将DataFrame数据存储为JSON文件
4 读取数据库文件
1.Pandas读取Mysql数据要读取Mysql中的数据，首先要安装Mysqldb包 然后进行数据文件读取 读取代码如下
import pandas as pd import MySQLdb conn = MySQLdb.connect(host = host,port = port,user = username,passwd = password,db = db_name) df = pd.read_sql('select * from table_name',con=conn) conn.close()
2. Pandas读取SQL sever中的数据，首先要安装pymssql包 然后进行数据文件读取 读取代码如下
import pandas as pd import pymssql conn = pymssql.connect(host=host, port=port ,user=username, password=password, database=database) df = pd.read_sql("select * from table_name",con=conn) conn.close()
创作不易 觉得有帮助请点赞关注收藏~~~
