需要完整文件和PPT请点赞关注收藏后评论区留言私信~~~
Pandas（Python Data Analysis Library）是基于NumPy的数据分析模块，它提供了大量标准数据模型和高效操作大型数据集所需的工具，可以说Pandas是使得Python能够成为高效且强大的数据分析环境的重要因素之一。
导入方式：import pandas as pd
一、Pandas中的数据结构
Pandas有三种数据结构Series、DataFrame和Panel。 Series类似于数组，DataFrame类似于表格，而Panel则可以视为Excel的多表单Sheet。
1：Series
Series 是一种一维数组对象，包含了一个值序列，并且包含了数据标签，称为索引（index），通过索引来访问数组中的数据。
Series的创建 1）通过列表创建 2）通过字典创建
通过列表创建
import pandas as pd obj1 = pd.Series([1, -2, 3, -4]) print(obj1) i = ["a", "c", "d", "a"] v = [2, 4, 5, 7] obj2 = pd.Series(v, index = i, name = "col") print(obj2)
通过字典创建
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000} obj3 = pd.Series(sdata) print(obj3)
不同索引的自动对齐
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000} obj1 = pd.Series(sdata) states = ['California', 'Ohio', 'Oregon', 'Texas'] obj2 = pd.Series(sdata, index = states) print(obj1+obj2)
索引的修改
obj = pd.Series([4,7,-3,2]) obj.index = ['Bob', 'Steve', 'Jeff', 'Ryan'] print(obj)
2：DataFrame
DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看作由Series组成的字典（共用同一个索引）。
构建DataFrame的方式有很多，最常用的是直接传入一个由等长列表或NumPy数组组成的字典来构建DataFrame。
data = { 'name':['张三', '李四', '王五', '小明'], 'sex':['female', 'female', 'male', 'male'], 'year':[2001, 2001, 2003, 2002], 'city':['北京', '上海', '广州', '北京'] } df1= pd.DataFrame(data, columns = ['name', 'year', 'sex', 'city']) display(df1)
下面显示DataFrame的索引和列
display(df1) print(df1.index) print(df1.columns)
重新索引 索引对象是无法修改的，因此，重新索引是指对索引重新排序而不是重新命名
obj = pd.Series([7.2,-3.3,3.5,3.6],index = ['b', 'a', 'd', 'c']) obj.reindex(['a','b','c','d','e'])
重建索引时填充缺失值
对于顺序数据，比如时间序列，重新索引时可能需要进行插值或填值处理，利用参数method选项可以设置： method = ‘ffill’或‘pad’，表示前向值填充 method = ‘bfill’或‘backfill’，表示后向值填充
obj.reindex(['a', 'b', 'c', 'd', 'e'], fill_value = 0)
缺失值的前向填充
import numpy as np obj1 = pd.Series(['blue','red','black'],index = [0,2,4]) obj1.reindex(np.arange(6),method = 'ffill')
DataFrame数据
df2 = pd.DataFrame(np.arange(9).reshape(3,3), index = ['a','c','d'],columns = ['one','two','four']) display(df2) df2.reindex(index = ['a','b','c','d'],columns = ['one','two','three','four'])
传入fill_value = n填充缺失值
df2.reindex(index = ['a','b','c','d'],columns = ['one','two','three','four'], fill_value = 100)
更换索引
在DataFrame数据中，如果不希望使用默认的行索引，则可以在创建时通过Index参数来设置。
df3=df1.set_index('city') display(df3)
查看DataFrame的常用属性
DataFrame的基础属性有values、index、columns、dtypes、ndim和shape，分别可以获取DataFrame的元素、索引、列名、类型、维度和形状。
print('信息表的所有值为：\n',df3.values) print('信息表的所有列为：\n',df3.columns) print('信息表的元素个数为：',df3.size) print('信息表的维度是：',df3.ndim) print('信息表的形状为：',df3.shape)
DataFrame数据的查询
在数据分析中，选取需要的数据进行分析处理是最基本操作。在Pandas中需要通过索引完成数据的选取。
(1) 选取列
通过列索引标签或以属性的方式可以单独获取DataFrame的列数据，返回的数据为Series类型数据。
w1 = df3['name'] print('选取1列数据：\n',w1) w2 = df3[['name','year']] print('选取2列数据：\n',w2)
（2）选取行 通过行索引或行索引位置的切片形式可以选取行数据。
display(df3) print('显示前2行:\n',df3[:2]) print('显示2-3两行:\n',df3[1:3])
（3）选取行和列 切片方法选取行有很大的局限性，如获取单独的几行，可以通过Pandas提供的loc和iloc方法实现。 DataFrame.loc(行索引名称或条件，列索引名称) DataFrame.iloc(行索引位置，列索引位置)
display(df3.loc[:,['name','year']] ) #显示name和year两列 display(df3.iloc[[1,3]]) #显示第1和第3行 display(df3.iloc[[1,3],[1,2]])
使用loc和isin两个函数配合使用，按指定条件对数据进行提取。
如执行语句df5.loc[df5['year'].isin(['2001','2003'])]可以查询2001和2003年的数据。
（4）布尔选择 在Pandas中可以对DataFrame中的数据进行布尔选择，常用的布尔运算符为不等于（!=）、与(&)、或(|)等。
df3[df3['year']==2001]
（5）DataFrame行和列的选取还可以通过query方法实现。 display(df5.query(' year>2001')) display(df5.query('year>2001 & year<2003'))
DataFrame数据的编辑
（1）增加数据 增加一行直接通过append方法传入字典结构数据即可。增加列时，只需为要增加的列赋值即可创建一个新的列。
data1 = {'city':'兰州','name':'小军','year':2005,'sex':'female'} df4=df3.append(data1,ignore_index = True) df4['age'] = 20 df4['C'] = [85,78,96,80,93] display(df4)
（2）删除数据 删除数据直接用drop方法，行列数据通过axis参数确定是删除的是行还是列。
df3.drop('sex',axis = 1,inplace = True) display(df3) display(df3.drop('北京'))
（3）修改数据 修改数据时直接对选择的数据直接赋值即可。 Replace：如DataFrame.replace({'B':'E','C':'F'})表示将表中的B替换为E，C替换为F。
Pandas数据运算
算术运算:Pandas的数据对象在进行算术运算时，如果有相同索引则进行算术运算，如果没有则会进行数据对齐，但会引入缺失值。
a = np.arange(6).reshape(2,3) b = np.arange(4).reshape(2,2) df1 = pd.DataFrame(a,columns = ['a','b','e'],index = ['A','C']) print('df1:\n',df1) df2 = pd.DataFrame(b,columns = ['a','b'],index = ['A','D']) print('df2:\n',df2) print('df1+df2:\n',df1+df2)
函数应用和映射:在数据分析时，经常会对数据进行较复杂的运算，此时需要定义函数。定义好的函数可以应用到pandas数据中，其中有三种方法：
map函数，将函数套用到Series的每个元素中；
apply函数，将函数套用到DataFrame的行与列上，行与列通过axis参数设置；
applymap函数，将函数套用到DataFrame的每个元素上。
下面将水果价格表中的元去掉
data = {'fruit':['apple','grape','banana'],'price':['30元','43元','28元']} df1 = pd.DataFrame(data) print(df1) def f(x): return x.split('元')[0] df1['price'] = df1['price'].map(f) print('修改后的数据表:\n',df1)
apply函数的使用方法
df2 = pd.DataFrame(np.random.randn(3,3),columns = ['a','b','c'], index = ['app','win','mac']) print(df2) df2.apply(np.mean)
applymap函数的用法
print(df2) df2.applymap(lambda x:'%.3f'%x)
二、数据汇总与统计
1. 数据汇总 在DataFrame中，可以通过sum方法对每列进行求和汇总，与Excel中的sum函数类似。如果设置axis = 1指定轴方向，可以实现按行汇总。
print('按列汇总:\n',df2.sum()) print('按行汇总:\n',df2.sum(axis = 1))
2. 数据描述与统计 描述性统计是用来概括、表述事物整体状况以及事物间关联、类属关系的统计方法。
利用describe方法会对每个数值型列进行统计 通常在对数据的初步观察时使用
数据的频数统计
obj = pd.Series(['a','b','c','a','d','c']) print(obj.unique()) print(obj.value_counts())
三、数据分组与聚合
1. 数据分组 根据某个或某几个字段对数据集进行分组，然后对每个分组进行分析与转换是数据分析中常见的操作。Pandas提供了一个高效的groupby方法，配合agg或apply方法实现数据分组聚合的操作。
DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs)
df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'], 'key2' : ['yes', 'no', 'yes', 'yes', 'no'], 'data1' : np.random.randn(5), 'data2' : np.random.randn(5)}) grouped = df['data1'].groupby(df['key1']) print(grouped.size()) print(grouped.mean())
（2）按列名分组 groupby方法使用的分组键除了Series，也可以是其他的格式。DataFrame数据的列索引名可以作为分组键，但需要注意的是用于分组的对象必须是DataFrame数据本身，否则搜索不到索引名称会报错。
groupk1 = df.groupby('key2').mean() groupk1
（3）按列表或元组分组 分组键还可以是长度和DataFrame行数相同的列表或元组，相当于将列表或元组看作 DataFrame的一列，然后将其分组。 应该是“看作” DataFrame的一列，然后将其分组.
wlist = ['w','w','y','w','y'] df.groupby(wlist).sum()
4）按字典分组 如果原始的DataFrame中的分组信息很难确定或不存在，可以通过字典结构，定义分组信息。
df=pd.DataFrame(np.random.normal(size=(6,5)),index= ['a','b','c','A','B','c']) print("数据为:\n",df) wdict={'a':'one','A':'one','b':'two','B':'two','c':'three'} print("分组汇总后的结果为:\n",df.groupby(wdict).sum())
（5）按函数分组 函数作为分组键的原理类似于字典，通过映射关系进行分组，但是函数更加灵活
def judge(x): if x>=0: return 'a' else: return 'b' df = pd.DataFrame(np.random.randn(4,4)) print(df) print(df[3].groupby(df[3].map(judge)).sum())
数据聚合
聚合运算就是对分组后的数据进行计算，产生标量值的数据转换过程。
（1）聚合函数 除了之前示例中的mean函数外，常用的聚合运算还有count和sum等。
（2）使用agg方法聚合数据 agg、aggregate方法都支持对每个分组应用某个函数，包括Python内置函数或自定义函数。
分组运算
分组运算包含了聚合运算，聚合运算是数据转换的特例。本节将讲解transform和apply方法，通过这两个方法，可以实现更多的分组运算。
（1）transform方法 通过transform方法可以将运算分布到每一行。
data.groupby(['性别','是否吸烟'])['血小板计数']. transform('mean').sample(5)
（2）使用apply方法聚合数据 apply方法类似于agg方法，能够将函数应用于每一列.
data.groupby(['性别','是否吸烟'])['血小板计数'].apply( np.mean)
四、Pandas数据读取与存储
（1）读取csv文件
Pandas读取csv文件的格式： read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, ...)
df1 = pd. read_csv（‘文件路径文件名’） #读取CSV文件到DataFrame中 df2 = pd. read_table（‘文件路径文件名’, sep = ‘,’） #使用read_table，并指定分隔符 df3 = pd. read_csv（‘文件路径文件名’，names = [‘a’,’b’,---]） #文件不包含表头行，允许自动分配默认列名，也可以指定列名
（2）读取excel文件
读取excel文件 Pandas读取excel文件的格式： pandas.read_excel（io，sheet_name = 0，header = 0，names = None，index_col = None，usecols = None，squeeze = False,dtype = None, ...）
xlsx = pd.excelFile(‘example/ex1.xlsx’) pd.read_excel(xlsx, ‘Sheet1’) #也可以直接利用： frame = pd.read_excel(‘example/ex1.xlsx’, ‘Sheet1’)
（3）读取mysql数据
pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)
import pymysql con =pymysql.connect( host=‘localhost’,user=‘root’,password=‘root’,database=‘test’,port=3306,charset=‘utf8’) sql_select = ‘select * from a’ df = pd.read_sql(sql_select, con)
（4）读取json数据
Json是一种常用的数据交换格式，在前后端的交互中经常用到，也会在存储的时候选择这种格式。
Pandas读取Json数据的格式：
pandas.read_json(path_or_buf=None,orient=None,type=’frame’,lines=False, ...)
常用文件存储方法如下
创作不易 觉得有帮助请点赞关注收藏~~~
