transform 数据转换的 4 个常用技巧!

简介: transform 数据转换的 4 个常用技巧!

本次给大家介绍一个功能超强的数据处理函数transform,相信很多朋友也用过,东哥这里再次进行详细分享下。transform有4个比较常用的功能,总结如下:


  • 转换数值
  • 合并分组结果
  • 过滤数据
  • 结合分组处理缺失值


一. 转换数值


pd.transform(func, axis=0)


以上就是transform转换数值的基本用法,参数含义如下:


  • func是指定用于处理数据的函数,它可以是普通函数字符串函数名称函数列表轴标签映射函数的字典
  • axis是指要应用到哪个轴,0代表列,1代表行。


1. 普通函数


func可以是我们正常使用的普通函数,像下面例子这样自定义一个函数。



df = pd.DataFrame({'A': [1,2,3], 'B': [10,20,30] })
def plus_10(x):
    return x+10
df.transform(plus_10)

微信图片_20220218222853.jpg

或者,也可以用lambda函数简洁的实现,效果是一样的。


df.transform(lambda x: x+10)


2. 字符串函数


也可以传递任何有效的pandas内置的字符串函数,例如sqrt


df.transform('sqrt')

微信图片_20220218222856.jpg


func还可以是一个函数的列表。例如numpysqrtexp函数的列表组合:


df.transform([np.sqrt, np.exp])

image.gif微信图片_20220218222900.jpg

通过上面结果看到,两个函数分别作用于AB每个列。


4. 轴标签映射函数的字典


如果我们只想将指定函数作用于某一列,该如何操作?

func还可以是轴标签映射指定函数的字典。例如:


df.transform({
    'A': np.sqrt,
    'B': np.exp,
})

微信图片_20220218222904.jpg

这样,就可以对ABL两列分别使用相应函数了,互补干扰。


二、合并分组结果


这个功能是东哥最喜欢的,有点类似SQL的窗口函数,就是可以合并grouby()的分组结果。用一个例子说明:


df = pd.DataFrame({
  'restaurant_id': [101,102,103,104,105,106,107],
  'address': ['A','B','C','D', 'E', 'F', 'G'],
  'city': ['London','London','London','Oxford','Oxford', 'Durham', 'Durham'],
  'sales': [10,500,48,12,21,22,14]
})

微信图片_20220218222908.jpgimage.gif

我们可以看到,每个城市都有多家销售餐厅。我们现在想知道每家餐厅在城市中所占的销售百分比是多少。 预期输出为:image.gif

微信图片_20220218222914.jpg


传统方法是:先groupby分组,结合apply计算分组求和,再用merge合并原表,然后再apply计算百分比。


但其实用transform可以直接代替前面两个步骤(分组求和、合并),简单明了。

首先,用transform结合groupby按城市分组计算销售总和。


df['city_total_sales'] = df.groupby('city')['sales']
                           .transform('sum')

微信图片_20220218222917.jpg

可以看到,使用transfrom计算分组的求和并不会像apply一样改变原表的结构,而是直接在原表的基础上再增加一列。


这样就可以一步到位,得到我们想要的格式。


然后,再计算百分比调整格式,搞定。


df['pct'] = df['sales'] / df['city_total_sales']
df['pct'] = df['pct'].apply(lambda x: format(x, '.2%'))

微信图片_20220218222921.jpgimage.gif


三、过滤数据


transform也可以用来过滤数据。仍用上个例子,我们希望获得城市总销售额超过40的记录,那么就可以这样使用。


df[df.groupby('city')['sales'].transform('sum') > 40]

image.gif微信图片_20220218222925.jpg

上面结果来看,并没有生成新的列,而是通过汇总计算求和直接对原表进行了筛选,非常优雅。


四、结合分组处理缺失值


df = pd.DataFrame({
    'name': ['A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
    'value': [1, np.nan, np.nan, 2, 8, 2, np.nan, 3]
})


在上面的示例中,数据可以按name分为三组A、B、C,每组都有缺失值。我们知道替换缺失值的常见的方法是用mean替换NaN。下面是每个组中的平均值。


df.groupby('name')['value'].mean()
name
A    1.0
B    5.0
C    2.5
Name: value, dtype: float64


我们可以通过transform()使用每组平均值来替换缺失值。用法如下:


df['value'] = df.groupby('name')
                .transform(lambda x: x.fillna(x.mean()))

微信图片_20220218222932.jpg

以上就是本次关于transform的数据转换操作分享。

相关文章
|
计算机视觉 Python
OpenCV完成面部情绪识别
OpenCV完成面部情绪识别
353 0
|
缓存
npm install 一直卡着不动如何解决
npm install 一直卡着不动如何解决
7382 0
|
运维 安全 Cloud Native
Apsara Stack 技术百科 | 混合云全景智能化观测平台Sunfire
在企业数字化转型的浪潮中,核心业务的上云和迁云无疑是转型过程的重中之重,企业对于数字安全性及等保合规层面的需求也日益强烈,混合云成为诸多大型政府企业客户上云迁云的首选方案。随着企业云上业务的复杂化,云上云下技术栈的多样化,以及云上运维组织规模的扩大化,云上业务的稳定性和连续性面临着巨大的挑战。
3474 0
Apsara Stack 技术百科 | 混合云全景智能化观测平台Sunfire
|
Web App开发 算法 Java
JSON Web Token (JWT)生成Token及解密实战。
昨天讲解了JWT的介绍、应用场景、优点及注意事项等,今天来个JWT具体的使用实践吧。 从JWT官网支持的类库来看,jjwt是Java支持的算法中最全的,推荐使用,网址如下。
3850 0
|
C#
C#小知识之中英文转换、去空格
# 一、中英文转换 ## 1、安装NPinYin ![请在此添加图片描述](https://developer-private-1258344699.cos.ap-guangzhou.myqcloud.com/column/article/5877188/20231031-1f77b9b6.png?x-cos-security-token=kcWkaWALSQ5t0gKzZRkVwYOOBJMLQ8Ra8df6748cc017b8b22443671efb8aed172ct0qMmH-Si3jPfLmVc91udBHTdfdp2n1Qk-hBfLRQF5l22U2cHOMKfU7b0bWfl1t
390 0
C#小知识之中英文转换、去空格
|
存储 人工智能 uml
介绍一款好用的开源画图神器-draw.io | AI应用开发
draw.io 是一款基于浏览器的开源绘图工具,无需安装即可使用,支持多种操作系统和设备。其简洁的界面、丰富的形状库、智能对齐功能和强大的云端协作能力,使其成为专业人士和创意爱好者的首选。无论是产品设计、流程图绘制还是思维导图构建,draw.io 都能满足你的多样化需求。【10月更文挑战第7天】
1252 0
|
12月前
|
存储 大数据 数据管理
大数据列表分区
大数据列表分区
165 1
|
12月前
|
人工智能 自然语言处理 安全
Claude官网中文版:在国内使用claude AI的最佳选择!
Claude 是 Anthropic 公司开发的一款大型语言模型,类似于 OpenAI 的 ChatGPT 或 Google 的 Bard。它被设计成一个乐于助人 😊、诚实 🤝 且无害 😇 的 AI 助手。
|
Linux
Linux 文件和目录列表(ls 命令)
要想知道系统中有哪些文件,可以使用列表命令( ls )
469 0
Linux 文件和目录列表(ls 命令)
|
机器学习/深度学习 算法 Python
python机器学习 train_test_split()函数用法解析及示例 划分训练集和测试集 以鸢尾数据为例 入门级讲解
python机器学习 train_test_split()函数用法解析及示例 划分训练集和测试集 以鸢尾数据为例 入门级讲解
4075 0
python机器学习 train_test_split()函数用法解析及示例 划分训练集和测试集 以鸢尾数据为例 入门级讲解