备案控制台
探索云世界
开发者社区 人工智能 文章 正文

Python数据分析 | Pandas数据变换高级函数

2022-04-21 256
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本篇为『图解Pandas数据变换高级函数』，讲解3个函数是map、apply和applymap，更高效地完成数据处理过程中对DataFrame进行逐行、逐列和逐元素的操作。

ShowMeAI研究中心

作者：韩信子@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/33
本文地址：http://www.showmeai.tech/article-detail/147
声明：版权所有，转载请联系平台与作者并注明出处

当我们提到python数据分析的时候，大部分情况下都会使用Pandas进行操作。pandas整个系列覆盖以下内容：

本篇为『图解Pandas数据变换高级函数』。

一、Pandas的数据变换高级函数

在数据处理过程中，经常需要对DataFrame进行逐行、逐列和逐元素的操作（例如，机器学习中的特征工程阶段）。Pandas中有非常高效简易的内置函数可以完成，最核心的3个函数是map、apply和applymap。下面我们以图解的方式介绍这3个方法的应用方法。

首先，通过numpy模拟生成一组数据。数据集如下所示，各列分别代表身高（height）、体重（weight）、是否吸烟（smoker）、性别（gender）、年龄（age）和肤色（color）。

import numpy as np
import pandas as pd

boolean=[True,False]
gender=["男","女"]
color=["white","black","yellow"]
data=pd.DataFrame({
    "height":np.random.randint(150,190,100),
    "weight":np.random.randint(40,90,100),
    "smoker":[boolean[x] for x in np.random.randint(0,2,100)],
    "gender":[gender[x] for x in np.random.randint(0,2,100)],
    "age":np.random.randint(15,90,100),
    "color":[color[x] for x in np.random.randint(0,len(color),100) ]
}
)

二、Series数据处理

2.1 map方法

当我们需要把series数据逐元素做同一个变换操作时，我们不会使用for循环（效率很低），我们会使用Series.map()来完成，通过简单的一行代码即可完成变换处理。例如，我们把数据集中gender列的男替换为1，女替换为0。

下面我们通过图解的方式，拆解map的操作过程：

（1）使用字典映射的map原理

#①使用字典进行映射
data["gender"] = data["gender"].map({"男":1, "女":0})

map方法

（2）使用函数映射的map原理

#②使用函数
def gender_map(x):
    gender = 1 if x == "男" else 0
    return gender
#注意这里传入的是函数名，不带括号
data["gender"] = data["gender"].map(gender_map)

pandas map操作

如上面例子所示，使用map时，我们可以通过字典或者函数进行映射处理。对于这两种方式，map都是把对应的数据逐个当作参数传入到字典或函数中，进行映射得到结果。

2.2 apply方法

当我们需要完成复杂的数据映射操作处理时，我们会使用到Series对象的apply方法，它和map方法类似，但能够传入功能更为复杂的函数。

我们通过一个例子来理解一下。例如，我们要对年龄age列进行调整（加上或减去一个值），这个加上或减去的值我们希望通过传入。此时，多了1个参数bias，用map方法是操作不了的（传入map的函数只能接收一个参数），apply方法则可以解决这个问题。

def apply_age(x,bias):
    return x+bias

#以元组的方式传入额外的参数
data["age"] = data["age"].apply(apply_age,args=(-3,))

apply方法

可以看到age列都减了3，这是个非常简单的例子，apply在复杂场景下有着更灵活的作用。
总结一下，对于Series而言，map可以完成大部分数据的统一映射处理，而apply方法适合对数据做复杂灵活的函数映射操作。

三、DataFrame数据处理

3.1 apply方法

DataFrame借助apply方法，可以接收各种各样的函数（Python内置的或自定义的）对数据进行处理，非常灵活便捷。
掌握DataFrame的apply方法需要先了解一下axis的概念，在DataFrame对象的大多数方法中，都会有axis这个参数，它控制了你指定的操作是沿着0轴还是1轴进行。axis=0代表操作对列columns进行，axis=1代表操作对行row进行，如下图所示。

apply方法

我们来通过例子理解一下这个方法的使用。例如，我们对data中的数值列分别进行取对数和求和的操作。这时使用apply进行相应的操作，两行代码可以很轻松地解决。

（1）按列求和的实现过程

因为是对列进行操作，所以需要指定axis=0。本次实现的底层，apply到底做了什么呢？我们来通过图解的方式理解一下：

# 沿着0轴求和
data[["height","weight","age"]].apply(np.sum, axis=0)

（2）按列取对数的实现过程

因为是对列进行操作，所以需要指定axis=0。本次实现的底层，apply到底做了什么呢？我们来通过图解的方式理解一下：

# 沿着0轴求和
data[["height","weight","age"]].apply(np.sum, axis=0)

# 沿着0轴取对数
data[["height","weight","age"]].apply(np.log, axis=0)

当沿着轴0（axis=0）进行操作时，会将各列(columns)默认以Series的形式作为参数，传入到你指定的操作函数中，操作后合并并返回相应的结果。

（3）按行计算BMI指数

那我们实际应用过程中有没有（axis=1）的情况呢？例如，我们要根据数据集中的身高和体重计算每个人的BMI指数（体检时常用的指标，衡量人体肥胖程度和是否健康的重要标准），计算公式是：体重指数BMI=体重/身高的平方（国际单位kg/㎡）。

这个操作需要对每个样本（行）进行计算，我们使用apply并指定axis=1来完成，代码和图解如下：

def BMI(series):
    weight = series["weight"]
    height = series["height"]/100
    BMI = weight/height**2
    return BMI

data["BMI"] = data.apply(BMI,axis=1)

当apply设置了axis=1对行进行操作时，会默认将每一行数据以Series的形式（Series的索引为列名）传入指定函数，返回相应的结果。

做个总结，DataFrame中应用apply方法：

  1. 当axis=0时，对每列columns执行指定函数；当axis=1时，对每行row执行指定函数。
  2. 无论axis=0还是axis=1，其传入指定函数的默认形式均为Series，可以通过设置raw=True传入numpy数组。
  3. 对每个Series执行结果后，会将结果整合在一起返回（若想有返回值，定义函数时需要return相应的值）
  4. 当然，DataFrame的apply和Series的apply一样，也能接收更复杂的函数，如传入参数等，实现原理是一样的，具体用法详见官方文档。

3.2 applymap方法

applymap是另一个DataFrame中可能会用到的方法，它会对DataFrame中的每个单元格执行指定函数的操作，如下例所示：

df = pd.DataFrame(
    {

        "A":np.random.randn(5),
        "B":np.random.randn(5),
        "C":np.random.randn(5),
        "D":np.random.randn(5),
        "E":np.random.randn(5),
    }
)

applymap方法

我们希望对DataFrame中所有的数保留两位小数显示，applymap可以帮助我们很快完成，代码和图解如下：

df.applymap(lambda x:"%.2f" % x)

资料与代码下载

本教程系列的代码可以在ShowMeAI对应的 github 中下载，可本地python环境运行。能访问Google的宝宝也可以直接借助google colab一键运行与交互操作学习哦！

本系列教程涉及的速查表可以在以下地址下载获取

拓展参考资料

ShowMeAI相关文章推荐

ShowMeAI系列教程推荐

showmeai

文章标签：
Python
机器学习/深度学习
数据挖掘
知识图谱
人工智能
数据采集
数据处理
数据可视化
定位技术
算法
关键词：
Python数据
数据分析python
Python数据分析
Python函数
Python Pandas
ShowMeAI
目录
相关文章
HannYang
|
3天前
|
数据挖掘 数据处理 索引
python常用pandas函数nlargest / nsmallest及其手动实现
python常用pandas函数nlargest / nsmallest及其手动实现
HannYang
18 0
众所周知
|
4天前
|
数据处理 Python
如何使用Python的Pandas库进行数据排序和排名
【4月更文挑战第22天】Pandas Python库提供数据排序和排名功能。使用`sort_values()`按列进行升序或降序排序，如`df.sort_values(by='A', ascending=False)`。`rank()`函数用于计算排名，如`df['A'].rank(ascending=False)`。多列操作可传入列名列表，如`df.sort_values(by=['A', 'B'], ascending=[True, False])`和分别对'A'、'B'列排名。
众所周知
14 2
龙大吉
|
5天前
|
索引 Python
如何在Python中使用Pandas库进行季节性调整？
在Python中使用Pandas和Statsmodels进行季节性调整的步骤包括：导入pandas和seasonal_decompose模块，准备时间序列DataFrame，调用`seasonal_decompose()`函数分解数据为趋势、季节性和残差，可选地绘制图表分析，以及根据需求去除季节性影响（如将原始数据减去季节性成分）。这是对时间序列数据进行季节性分析的基础流程。
龙大吉
19 2
东方睿赢
|
3天前
|
数据挖掘 数据处理 索引
如何使用Python的Pandas库进行数据筛选和过滤？
Pandas是Python数据分析的核心库，提供DataFrame数据结构。基本步骤包括导入库、创建DataFrame及进行数据筛选。示例代码展示了如何通过布尔索引、`query()`和`loc[]`方法筛选`Age`大于19的记录。
东方睿赢
10 0
龙大吉
|
3天前
|
索引 Python
如何使用Pandas进行数据合并？
Pandas提供`merge()`, `join()`, `concat()`等方法进行数据合并。基本步骤包括导入pandas库、创建或加载DataFrame，然后调用这些方法合并数据。示例中展示了如何使用`merge()`和`join()`：创建两个DataFrame `df1`和`df2`，通过`merge()`基于索引合并，以及`join()`进行外连接合并。
龙大吉
14 0
东方睿赢
|
5天前
|
Python
如何使用Python的Pandas库进行数据缺失值处理？
Pandas在Python中提供多种处理缺失值的方法：1) 使用`isnull()`检查；2) `dropna()`删除含缺失值的行或列；3) `fillna()`用常数、前后值填充；4) `interpolate()`进行插值填充。根据需求选择合适的方法处理数据缺失。
东方睿赢
39 9
桃李春风一杯酒
|
1天前
|
数据采集 数据可视化 数据挖掘
R语言与Python：比较两种数据分析工具
【4月更文挑战第25天】R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较，包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面，以帮助读者更好地了解和选择适合自己的数据分析工具。
桃李春风一杯酒
7 1
小Lee
|
7天前
|
机器学习/深度学习 数据挖掘 计算机视觉
python数据分析工具SciPy
【4月更文挑战第15天】SciPy是Python的开源库，用于数学、科学和工程计算，基于NumPy扩展了优化、线性代数、积分、插值、特殊函数、信号处理、图像处理和常微分方程求解等功能。它包含优化、线性代数、积分、信号和图像处理等多个模块。通过SciPy，可以方便地执行各种科学计算任务。例如，计算高斯分布的PDF，需要结合NumPy使用。要安装SciPy，可以使用`pip install scipy`命令。这个库极大地丰富了Python在科学计算领域的应用。
小Lee
12 1
小Lee
|
8天前
|
数据可视化 数据挖掘 Python
Python中数据分析工具Matplotlib
【4月更文挑战第14天】Matplotlib是Python的数据可视化库，能生成多种图表，如折线图、柱状图等。以下是一个绘制简单折线图的代码示例： ```python import matplotlib.pyplot as plt x = [1, 2, 3, 4, 5] y = [2, 4, 6, 8, 10] plt.figure() plt.plot(x, y) plt.title('简单折线图') plt.xlabel('X轴') plt.ylabel('Y轴') plt.show() ```
小Lee
12 1
小Lee
|
8天前
|
数据采集 SQL 数据可视化
Python数据分析工具Pandas
【4月更文挑战第14天】Pandas是Python的数据分析库，提供Series和DataFrame数据结构，用于高效处理标记数据。它支持从多种数据源加载数据，包括CSV、Excel和SQL。功能包括数据清洗（处理缺失值、异常值）、数据操作（切片、过滤、分组）、时间序列分析及与Matplotlib等库集成进行数据可视化。其高性能底层基于NumPy，适合大型数据集处理。通过加载数据、清洗、分析和可视化，Pandas简化了数据分析流程。广泛的学习资源使其成为数据分析初学者的理想选择。
小Lee
15 1

热门文章

最新文章

  • 1
    阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
  • 2
    使用Python实现DBSCAN聚类算法
  • 3
    在Python Web开发过程中：数据库与缓存，MySQL和NoSQL数据库的主要差异是什么？
  • 4
    流畅的 Python 第二版（GPT 重译）（一）(1)
  • 5
    Python 学习之路 01基础入门---【Python安装，Python程序基本组成】
  • 6
    流畅的 Python 第二版（GPT 重译）（十一）(1)
  • 7
    Python函数使用(四)
  • 8
    Python速成篇（基础语法）上
  • 9
    流畅的 Python 第二版（GPT 重译）（十二）(1)
  • 10
    13 Python 阶段性总结抽奖系统（文末附代码地址）
  • 1
    Python数据分析（五）—— 一文搞懂Python时间序列
    38
  • 2
    Python数据分析（二）—— Pandas快速入门
    66
  • 3
    Python数据分析（一）—— Numpy快速入门
    52
  • 4
    从零到精通：学习这些R语言必学包成为数据分析高手！
    38
  • 5
    探索性数据分析
    18
  • 6
    利用Python进行数据分析的基本步骤与技巧
    27
  • 7
    数据分析实战-Python实现博客评论数据的情感分析
    106
  • 8
    Arm 发布 Neoverse 新品：数据分析性能提升 196%，奠定未来计算及 AI 的基石
    302
  • 9
    python数据分析——在面对各种问题时，因如何做分析的分类汇总
    83
  • 10
    python数据分析——时间序列
    44

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • Data Pre-Processing in Python:
  • 即学即用的Pandas入门与时间序列分析
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • 使用Python完成RDS数据开发及分析
  • 倚天大数据电商数据分析快速实践
  • AnalyticDB MySQL游戏行业数据分析实践
  • Github实时数据分析与可视化
  • 云端Python及基本操作
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）