19. Python 数据处理之 Pandas

简介: 19. Python 数据处理之 Pandas

1. 认识 Pandas

Pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。

Pandas 的出现主要是为了解决其他编程语言、科研环境的痛点。它是处理数据的理想工具,处理数据的速度极快,使数据预处理、清洗、分析工作变得更快、更简单,被广泛应用于金融领域。处理数据一般分为3个阶段:数据整理与清洗、数据分析与建模、数据可视化与制表Pandas 是基于 Numpy 数组构建的,科研与其他第三方科学计算支持完美集成,专门为处理表格和混杂数据而设计,而Numpy更适合处理统一的数值和数组数据。

Pandas 适用于处理以下类型的数据:

  • 与SQL或Excel表类似的表格数据。
  • 有序和无序(非固定频率)的时间序列数据。
  • 带行列标签的矩阵数据,包括同构或异构型数据。
  • 任意其他形式的观测、统计数据集,数据转入Pandas数据结构时不必事先标记。

2. 安装和导入 Pandas

推荐使用Anaconda安装,可以参考 Anaconda 安装配置,轻轻松松上手Python安装Anaconda,然后使用以下命名安装和导入Pandas:

# 安装Pandas
'''Windows 按住win+R 输入 cmd,Mac 打开Terminal
conda install Pandas
pip install Pandas 
'''
import pandas as pd # 导入pandas并取别名
print(pd.__version__) # 1.5.1

3. Pandas 数据结构

Pandas 定义了两种主要数据结构:Series 和 DataFrame。

1) Series

Series 是一种类似于一维数组的对象,它由一组数据(各种Numpy数据类型)以及一组与之相映射的数据标签(索引)组成,即index和values两部分,可以通过索引的方式选取Series中单个或一组值。创建Series数据的语法格式如下:

pd.Series(list,index=[])

第一个参数可以是list、ndarray,也可以是DataFrame中的某一行或某一列。第二个参数是Series中数据的索引,可以省略,如果第一个参数是字典,则字典的键将作为Series的索引。

import numpy as np,pandas as pd
arr1 = np.arange(3)
s1 = pd.Series(arr1)
print(s1)
''' 输出
0    0
1    1
2    2
dtype: int64
'''

由于没有数据指定索引,于是自动创建一个从0~N-1(N为数据长度)的整型索引。


Series 类型索引、切片、运算的操作类似于ndarray,也类似于Python字典类型的操作,包括保留字in操作、使用get()方法。Series 和 ndarray之间主要区别在于,Series 之间的操作根据索引自动对齐数据。

2) DataFrame

DataFrame 是一个表格型的数据类型,每列值类型可以不同,是最常用的Pandas对象。有行索引和列索引,可以被看作由Series组成的字典(共用同一个索引)。其中的数据是以一个或多个二维块存放的(而不是列表、字典或别的一维数据结构)。

创建DataFrame的语法格式和示例如下:

# 参数columns和index为指定的列、行索引
pd.DataFrame(data,columns=[],index=[])

# 示例
import pandas as pd
data = {'state':['Ohio','Ohio','Ohio','Nevada','Nevada','Nevada'],
        'year':[2000,2001,2002,2001,2002,2003],
        'pop':[1.5,1.7,3.6,2.4,2.9,3.2]
        }
# 默认行列索引
df = pd.DataFrame(data)
print(df)
''' 输出
    state  year  pop
0    Ohio  2000  1.5
1    Ohio  2001  1.7
2    Ohio  2002  3.6
3  Nevada  2001  2.4
4  Nevada  2002  2.9
5  Nevada  2003  3.2
'''
# 指定行列索引
df = pd.DataFrame(data,columns=['year','state','pop','debt'],
                  index=['one','two','three','four','five','six'])
print(df)
''' 输出
       year   state  pop debt
one    2000    Ohio  1.5  NaN
two    2001    Ohio  1.7  NaN
three  2002    Ohio  3.6  NaN
four   2001  Nevada  2.4  NaN
five   2002  Nevada  2.9  NaN
six    2003  Nevada  3.2  NaN
'''
# 嵌套字典,外层字典的键作为列,内层字典键作为行索引
import pandas as pd 
data = {'Nevada':{2001:2.4,2002:2.9},'Ohio':{2000:1.5,2001:1.7,2002:3.6}}
df = pd.DataFrame(data)
print(df)
''' 输出
       Nevada  Ohio
2001     2.4   1.7
2002     2.9   3.6
2000     NaN   1.5
'''

4. Pandas 基本功能

1) 数据索引

Series 和 DataFrame 的索引是index类型,index对象不可修改,可通过索引值标签获取目标数据,也可通过索引使序列或数据库的计算、操作实现自动化对齐。索引类型index的常用方法如下:

  • append(idx):连接另一个index对象,产生新的index对象。
  • diff(idx):计算差集,产生新的index对象。
  • intersetion(idx):计算交集。
  • union(idx):计算并集。
  • delete(loc):删除loc位置处的元素。
  • insert(loc,e):在loc位置增加一个元素。
import pandas as pd 
data = {'Nevada':{2001:2.4,2002:2.9},'Ohio':{2000:1.5,2001:1.7,2002:3.6}}
df = pd.DataFrame(data)
print(df.index) # Int64Index([2001, 2002, 2000], dtype='int64')
print(df.columns) # Index(['Nevada', 'Ohio'], dtype='object')

2) 索引、选取和过滤

可以通过df.loc[]和df.iloc[]操作。

# 语法
df.loc[行标签,列标签]  # 第二个参数为空时,查询单个或多行的所有列。查询多列多行,则两个参数用列表表示
df.iloc[行位置,列位置]
# 示例
import pandas as pd 
data = {'Nevada':{2001:2.4,2002:2.9},'Ohio':{2000:1.5,2001:1.7,2002:3.6}}
df = pd.DataFrame(data)
print(df)
''' 输出
      Nevada  Ohio
2001     2.4   1.7
2002     2.9   3.6
2000     NaN   1.5
'''
print(df.loc[2001,['Nevada','Ohio']]) 
print(df.iloc[0,:]) 
''' 输出
Nevada    2.4
Ohio      1.7
Name: 2001, dtype: float64
'''

3) 运算

  • 算术运算。根据行列索引,对齐后运算,运算默认产生浮点数,对齐时缺项填充NaN(空值)。除了可以使用+、-、*、/外,还可以使用Series 和DataFrame的算术方法,如add、sub、mul、div。
  • 比较运算。只能比较相同索引的元素,不进行补齐,产生布尔值。

4) 排序

在排序时,任何缺失值默认都被放到末尾。

.sort_index(axis=0,ascending=True)

根据指定轴索引的值进行排序。默认轴axis=0,ascending=True,即默认根据0轴的索引值做升序。轴axis=1为根据1轴的索引值排序,ascending=False为降序。


Series.sort_values(axis=0,ascending=True):只能根据0轴的值排序。

  • DataFrame.sort_values(by,axis=0,ascending=True):参数by为axis轴上的某个索引或索引列表。

5. Pandas 数据分析

1) 统计分析和相关分析

适用于Series和DataFrame的基本统计分析函数如下,如果传入axis='columns’或axis=1将按行进行运算。

  • .describe():针对各列的多个统计汇总,用统计学指标快速描述数据的概要。
  • .sum():计算各列数据的和。
  • .count():计算非NaN值的数量。
  • .mean()/.median():计算数据的算术平均值、算术中位数。
  • .var()/.std():计算数据的方差、标准差。
  • .corr()/.cov():计算相关系数矩阵、协方差矩阵。
  • .corrwith():计算其列或行跟另一个Series或DataFrame之间的相关系数。
  • .min()/.max():计算数据的最小值、最大值。
  • .diff():计算一阶差分,对时间序列很有效。
  • .mode():计算众数,返回频数最高的那几个。
  • .quantile():计算分位数
  • .isin():用于判断矢量化集合的成员资格。
  • .unique():返回一个Series中唯一值组成的数值。
  • .value_counts():计算一个Series中各值出现的频率。
  • .argmin()/.argmax():计算数据最小值、最大值所在位置的索引位置。
  • .idxmin()/.idxmax():计算数据最小值、最大值所在位置的索引。

2) 分组

  • DataFrame.groupby():分组函数。
  • pandas.cut():根据数据分析对象的特征,按照一定的数值指标,把数据分析对象划分为不同的区间部分进行研究,以揭示其内在的联系和规律。

3) Pandas 读写文本格式的数据

  • read_csv:从文件、url、文件型对象中加载带分隔符的数据。默认分隔符为逗号。
  • read_table:从文件、url、文件型对象中加载带分隔符的数据。默认分隔符为制表符(’\t’)。
  • read_fwf:读取定宽格式数据(没有分隔符)。
  • read_clipboard:读取剪贴板中的数据,可以看作read_table的剪贴板。在将网页转换为表格时使用。
  • read_excel:从Excel XLS或XLSX file读取表格数据。
  • read_hdf:读取Pandas编写的HDF5文件。
  • read_html:读取HTML文档中的所有表格。
  • read_json:读取json字符串中的数据。
  • read_msgpack:二进制格式编码的Pandas数据。
  • read_pickle:读取Python pickle格式中存储的任意对象。
  • read_sas:读取存储于SAS系统自定义存储的任意对象。
  • read_sql:读取SQL查询结果为Pandas的DataFrame。
  • read_stata:读取Stata文件格式的数据集。
  • read_feather:读取Feather二进制文件格式。

这些函数的选项可以划分为以下几大类:

  • 索引:将一个或多个列当作返回的DataFrame处理,以及是否从文件、用户获取列名。
  • 类型推断和数据转换:包括用户自定义值的转换、自定义的缺失值标记列表等。
  • 日期解析:包括组合功能,如将分散在多个列的日期时间信息组合成结果中的单个列。
  • 迭代:支持对大文件中逐块迭代。
  • 不规范数据问题:跳过一些行、页脚、注释或其他一些不重要的东西。

4) 数据清洗和准备:数据分析和建模,大部分时间都用在数据准备上,如加载、清洗、转换以及重塑。

5) 处理缺失数据

在数据分析中缺失数据经常发生,对于数值数据,NaN(np.nan)表示缺失数据,也可将缺失值表示NA。常用函数如下:

  • .info():查看数据的信息,包括每个字段的名称、非空数量、字段的数据类型。
  • .isnull():返回一个同样长度的值为布尔型的对象,表示哪些值时缺失的。.notnull()为其否定形式。.dropna():删除缺失数据。默认删除含有缺失值的行;如果想删除含有缺失值的列,需要传入axis = 1 作为参数;如果想要删除全部缺失值的行或列,需传入how=‘all’。

.fillna(value, method,limit,inplace):填充缺失值。value 用于填充的值或字典({‘列2’:1,‘列2’:8,…});method 默认为ffill(向前填充),bfill(向后填充);limit为向前或者向后填充的最大填充量;inplace 默认返回新对象,修改inplace=True可以对现有对象直接修改。

6) 数据转换

  • 替换值。.replace(old, new)函数可以使用新得数据替换老的数据。
  • 删除重复数据。.duplicated()可以判断各行是否是重复行;.drop_duplicates()可以删除重复行,返回删除后的DataFrame对象。
  • 利用函数或字典进行数据转换。Series.map()可以接受一个函数或字典作为参数,实现元素级转换以及其他数据清洗工作的便捷方式。
import pandas as pd 
data = pd.DataFrame({'food':['bacon','pulled pork','bacon','ppastrami','corned beef','bacon','pastrami','honey ham','noba lox'],
                     'ounces':[4,3,12,6,7.5,8,3,5,6]})
meat_to_animal = {'bacon':'pig','pulled pork':'pig','pastrami':'cow','corned beef':'cow',
                  'honey ham':'pig','nova lox':'salmon'}
data['animal'] = data['food'].map(meat_to_animal) # 增加一列 animal
print(data)
''' 输出
          food  ounces animal
0        bacon     4.0    pig
1  pulled pork     3.0    pig
2        bacon    12.0    pig
3    ppastrami     6.0    NaN
4  corned beef     7.5    cow
5        bacon     8.0    pig
6     pastrami     3.0    cow
7    honey ham     5.0    pig
8     noba lox     6.0    NaN
'''

DataFrame 常用函数如下:

  • df.head():查询数据的前5行。
  • df.tail():查询数据的末尾5行。
  • pandas.cut()、pandas.qcut():基于分位数的离散化函数。
  • pandas.date_range():返回一个时间索引。
  • df.apply():沿相应轴应用函数。
  • Series.value_counts():返回不同数据的计数值。
  • df.aggregate()、df.reset_index():重新设置index。

相关文章
|
4天前
|
SQL 并行计算 API
Dask是一个用于并行计算的Python库,它提供了类似于Pandas和NumPy的API,但能够在大型数据集上进行并行计算。
Dask是一个用于并行计算的Python库,它提供了类似于Pandas和NumPy的API,但能够在大型数据集上进行并行计算。
|
3天前
|
大数据 数据处理 API
性能飞跃:Python协程与异步函数在数据处理中的高效应用
【7月更文挑战第15天】在大数据时代,Python的协程和异步函数解决了同步编程的性能瓶颈问题。同步编程在处理I/O密集型任务时效率低下,而Python的`asyncio`库支持的异步编程利用协程实现并发,通过`async def`和`await`避免了不必要的等待,提升了CPU利用率。例如,从多个API获取数据,异步方式使用`aiohttp`并发请求,显著提高了效率。掌握异步编程对于高效处理大规模数据至关重要。
15 4
|
4天前
|
存储 大数据 数据处理
优化Python中的数据处理效率:使用生成器提升性能
在Python编程中,有效的数据处理是提升性能和效率的关键。本文将探讨如何利用生成器(generator)优化数据处理过程,通过实例展示生成器如何在内存效率和执行速度上带来显著提升。
|
5天前
|
机器学习/深度学习 数据采集 大数据
驾驭大数据洪流:Pandas与NumPy在高效数据处理与机器学习中的核心作用
【7月更文挑战第13天】在大数据时代,Pandas与NumPy是Python数据分析的核心,用于处理复杂数据集。在一个电商销售数据案例中,首先使用Pandas的`read_csv`加载CSV数据,通过`head`和`describe`进行初步探索。接着,数据清洗涉及填充缺失值和删除异常数据。然后,利用`groupby`和`aggregate`分析销售趋势,并用Matplotlib可视化结果。在机器学习预处理阶段,借助NumPy进行数组操作,如特征缩放。Pandas的数据操作便捷性与NumPy的数值计算效率,共同助力高效的数据分析和建模。
|
6天前
|
机器学习/深度学习 数据采集 数据挖掘
解锁 Python 数据分析新境界:Pandas 与 NumPy 高级技巧深度剖析
【7月更文挑战第12天】Python的Pandas和NumPy库助力高效数据处理。Pandas用于数据清洗,如填充缺失值和转换类型;NumPy则擅长数组运算,如元素级加法和矩阵乘法。结合两者,可做复杂数据分析和特征工程,如产品平均销售额计算及销售额标准化。Pandas的时间序列功能,如移动平均计算,进一步增强分析能力。掌握这两者高级技巧,能提升数据分析质量和效率。
19 4
|
4天前
|
机器学习/深度学习 数据采集 数据处理
重构数据处理流程:Pandas与NumPy高级特性在机器学习前的优化
【7月更文挑战第14天】在数据科学中,Pandas和NumPy是数据处理的关键,用于清洗、转换和计算。用`pip install pandas numpy`安装后,Pandas的`read_csv`读取数据,`fillna`处理缺失值,`drop`删除列。Pandas的`apply`、`groupby`和`merge`执行复杂转换。NumPy加速数值计算,如`square`进行向量化操作,`dot`做矩阵乘法。结合两者优化数据预处理,提升模型训练效率和效果。
|
4天前
|
数据采集 机器学习/深度学习 数据处理
从基础到卓越:Pandas与NumPy在复杂数据处理中的实战策略
【7月更文挑战第14天】Pandas与NumPy在数据科学中的核心应用:**加载数据(如`read_csv`)、探索(`head()`, `info()`, `describe()`)、数据清洗(`fillna`, `dropna`, `replace`, `apply`)、数值计算(借助NumPy的`ndarray`)、分组聚合(`groupby`与聚合函数)、窗口函数(如`rolling`)和数据筛选排序(布尔索引,`query`,`sort_values`)。通过这些工具,实现从数据预处理到复杂分析的高效处理。
9 0
|
4天前
|
数据采集 数据挖掘 数据处理
Python数据分析加速器:深度挖掘Pandas与NumPy的高级功能
【7月更文挑战第14天】Python的Pandas和NumPy库是数据分析的核心工具。Pandas以其高效的数据处理能力,如分组操作和自定义函数应用,简化了数据清洗和转换。NumPy则以其多维数组和广播机制实现快速数值计算。两者协同工作,如在DataFrame与NumPy数组间转换进行预处理,提升了数据分析的效率和精度。掌握这两者的高级功能是提升数据科学技能的关键。**
11 0
|
4天前
|
存储 数据可视化 数据处理
`geopandas`是一个开源项目,它为Python提供了地理空间数据处理的能力。它基于`pandas`库,并扩展了其对地理空间数据(如点、线、多边形等)的支持。`GeoDataFrame`是`geopandas`中的核心数据结构,它类似于`pandas`的`DataFrame`,但包含了一个额外的地理列(通常是`geometry`列),用于存储地理空间数据。
`geopandas`是一个开源项目,它为Python提供了地理空间数据处理的能力。它基于`pandas`库,并扩展了其对地理空间数据(如点、线、多边形等)的支持。`GeoDataFrame`是`geopandas`中的核心数据结构,它类似于`pandas`的`DataFrame`,但包含了一个额外的地理列(通常是`geometry`列),用于存储地理空间数据。
|
6天前
|
数据挖掘 数据处理 决策智能
Python 数据分析工具箱:深挖 Pandas 与 NumPy 高级功能,驱动智能决策
【7月更文挑战第12天】Python的Pandas和NumPy是数据分析的基石。Pandas提供灵活的数据结构如DataFrame,用于高效处理关系型数据,而NumPy则以多维数组和科学计算功能著称。两者结合,支持数据合并(如`pd.merge`)、时间序列分析(`pd.to_datetime`)和高级数组运算。通过掌握它们的高级特性,能提升数据分析效率,应用于各领域,如金融风险评估、市场分析和医疗预测,助力数据驱动的决策。学习和熟练运用Pandas与NumPy是成为出色数据分析师的关键。